С помощью этого сервиса Вы можете сгенерировать файл robots.txt для своего сайта.

 

Адрес сайта:
Полный запрет индексации сайта?	Нет Да
Crawl-delay (задержка индексирования в секундах)
Запреты для всех поисковых роботов
Запрет директорий (через запятую)
Запрет файлов (через запятую)
Запреты для картиночных ботов
Полный запрет индексации картинок?	Нет Да
Запрет директорий (через запятую)
Запреты программ скачивания сайтов (оффлайн браузеры)
Запрет скачивания сайта:	Нет Да
Главный сайт для Yandex
Включить?	Нет Да
Главный сайт
Карта сайта