Статьи по тэгу - robots.txt
Для чего нужен файл robots.txt?
Основное назначение файла robots.txt состоит в запрещении доступа паукам к тем разделам сайта, которые нежелательно индексировать. Это может быть в случае, если вы не хотите, чтобы ваш сайт был...