Ребят, во многих сайтах(в том числе и этом) Когда я набираю к примеру www.wrg.ru/robots.txt , открывает какой-то текстовый файл. Если можно, объясните что это за файл и для чего он нужен
Похоже в файле указаны те места сайта, куда доступ обычному пользоателю запрещен. Я токо одного не пойму. Зачем скидывать имена всех этих файлов в одну папку? Это автоматически делается, чтоли???
Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
