Файл robots.txt - основы поисковой оптимизации

Robots.txt — текстовый файл, расположенный в корневой папке сайта, который предназначен для управления поисковыми роботами. В этом файле можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждого бота поисковиков по отдельности.

Для создания файла robots.txt воспользуйся любым текстовым редактором (например, Блокнотом или WordPad’ом), создай файл с именем “robots.txt” и наполни его представленными ниже правилами. После этого необходимо загрузить файл в корневой каталог твоего сайта.

Если тебе лень разбираться в тонкостях, просто скопируй и вставь в файл следующий текст:

User-agent: *
Disallow:

 

Если же ты хочешь разобраться и улучшить индексацию своего сайта, читай продолжение статьи о файле Robots.txt