Robots.txt — текстовый файл, расположенный в корневой папке сайта, который предназначен для управления поисковыми роботами. В этом файле можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждого бота поисковиков по отдельности.
Для создания файла robots.txt воспользуйся любым текстовым редактором (например, Блокнотом или WordPad’ом), создай файл с именем “robots.txt” и наполни его представленными ниже правилами. После этого необходимо загрузить файл в корневой каталог твоего сайта.
Если тебе лень разбираться в тонкостях, просто скопируй и вставь в файл следующий текст:
User-agent: *
Disallow:
Если же ты хочешь разобраться и улучшить индексацию своего сайта, читай продолжение статьи о файле Robots.txt