Что такое файл robots.txt ?
      Robots.txt - это текстовый документ, расположенный в самом корне сайта, имеет путь www.site.ua/robots.txt и предназначен для поисковых роботов. В файле robots.txtвеб-мастер указывает правила индексации сайта для роботов в целом или для каждого в отдельности. При наличии нескольких поддоменов на одном сайте, необходимо добавить файл robots.txt в каждый поддомен. Файл robots.txtдополнением к файлу sitemap.xml но несет обратную функцию.
      Правильный файл robots.txt
      Для создания файла необходимо воспользоваться любым текстовым редактором, создать файл с именем robots.txt с произвольной кодировкой. Основные директивы используемые в файле: User-agent и Disallow / Allow
      Простой пример файла robots.txt:
      User-agent: * - для всех роботов
      Disallow: /admin/ - запретить к индексации директорию admin
      Правильно настроенный файл позволяет увеличить скорость индексации и качество раскрутки сайта.      

Нужна консультация по созданию сайта?

Профессионально, качественно и быстро!