вопрос по robots.txt

доброе время суток. не нашел(или плохо искал) нужную инфу.
подскажите пожалуйста я хочу запретить индексирование всего — кроме моих страничек которые создал, другими словами где, как и в чем лежит мой контент? Как называются файлики физически и где лежат? и еще мнения расходятся по поводу Allow: одни говорят не хавают боты другие говорят что все гуд 🙁