Главная / SEO, SMO и SMM / Как составить правильный файл robots.txt для яндекса и google

Как составить правильный файл robots.txt для яндекса и google

Как составить правильный robots txtДля чего нужен robots txt? Роботы поисковых систем при входе на сайт первым делом обращаются к файлу robots.txt, чтобы получить инструкции к дальнейшему действию и узнать, какие файлы и директории запрещены к индексированию.

Поэтому веб-мастеру крайне необходимо знать, как правильно писать этот файл, так как ошибки в нём могут привести к очень плачевным последствиям. Файл robots.txt является связующим между самим сайтом и поисковиками, в нем можно как разрешить так и запретить весь веб-узел для индексации или к отдельным категориям узла.

Файл robots – обыкновенный файл с расширением txt, который создают с помощью блокнота. Где находится robots.txt ? Он располагается в корневой директории сайта, и  содержит инструкции по индексации для поисковых роботов. Инструкции могут быть, как и общие, так и для конкретных роботов.

  • Генератор robots txt  — http://pr-cy.ru/robots/

А теперь немного подробнее о том, как составить правильный robots txt

Основные правила при создании и загрузке файла robots.txt:

  • не путать название, то есть называть файл robots.txt, а не robot.txt и так далее.
  • название файла robots.txt должно быть обязательно написано в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT и др.
  • размещать файл robots.txt необходимо именно в корневой директории сайта, а не в каком другом месте, иначе поисковики его не увидят.

Самое важное составить правильный robots txt. Ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.

Вот пример файла robots txt:

User-agent: *
Disallow: /buttons/
Disallow: /image/

Давайте разберём содержание этого файла. Первая строка user agent. Звёздочка в инструкции User-agent обозначает, что данная инструкция относится ко всем поисковым роботам. Если инструкция предназначена для конкретного поискового робота, то необходимо прописать его имя.

Вторая и третья строка запрещают индексацию директорий buttons и image. Обратите внимание, что каждая запрещённая к индексации директория прописана в отдельной строке. Ни в коем случае не совмещайте их в одной строке. Также нельзя переносить строки в пределах одной инструкции.

Для  Яндекса актуально также писать директиву Host. Эта директива указывает роботу основной адрес сайта. В этой директиве можно прописать адрес сайта либо с www, либо без www. Какая разница спросите вы? Да никакой. Можно указывать и так, и так. Всё зависит исключительно от вашего желания. Никаких ограничений и ущемлений для вашего сайта не будет.

Правильно написать директиву  Host нужно так:

User-agent: Yandex
Disallow: /buttons/
Host: netearn.ru

А теперь приведу конкретные примеры написания файла robots.txt для различных задач.

1. Как запретить индексацию сайта всеми поисковыми роботами.

User-agent: *
Disallow: /

2. Не запрещать весь сайт к индексации всеми поисковыми роботами.

User-agent: *
Disallow:

3. Запретить индексацию сайта одним поисковым роботом (например, SeoBot).

User-agent: SeoBot
Disallow: /

4. Не запрещать весь сайт к индексации  роботом (например, SeoBot) и запретить к индексации всем остальным поисковым роботам.

User-agent: SeoBot
Disallow:

User-agent: *
Disallow: /

5. Запретить несколько директорий к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /images/
Disallow: /buttons/
Disallow: /_themes/

6. Запретить несколько файлов к индексации всеми поисковыми роботами.

User-agent: *
Disallow: /Square Black.gif
Disallow: /banners-page-small.htm

Основные правила при составлении файла robots.txt

1. Писать содержимое файла нужно только в нижнем регистре.

2. В каждой инструкции Disallow указывать только одну директорию или
один файл.

3. Не менять местами инструкцию user agent disallow.

4. Строка user agent должна быть заполнена. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.

5. В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.

6. Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.

7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями.

8. Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.

9. Если вы запрещаете к индексации директивы robots txt, то обязательно пропишите слеши.

10. Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.

Добавить комментарий