X
Заказать услугу

Как создать файл robots.txt

Плагины и Шаблоны для Wordpress
  • 2018-12-12
  • 1244 просмотр

    0 комментарий

  • Дизайн и разработка сайта

Доброго времени суток. 🙂

Сегодня поговорим с Вами о маленьком но полезном файле - robots.txt. Если представить Ваш сайт как страну, ссылки как дороги, робот поисковик как машина, то этот файл для него ПДД. То есть он указывает поисковикам, что можно индексировать, что нельзя, плюс некоторые дополнительные функции.

robots.txt

robots.txt - это первое, что ищет поисковик, перед тем, как индексировать Ваш сайт. Так что он является обязательным элементом. Если внутри файлов вашего сайта есть каталоги,, которые не следует индексировать, Вы можете с легкостью это указать в robots.txt и поисковики стороной будут обходить эту папку.

Чтобы создать robots.txt, не нужно специальных программ и навыков, все это делается с помощью обычного блокнота. Просто создайте текстовый файл и назовите его - robots.txt.

Этот файл нужно поместить в корневую папку сайта, чтобы путь к нему был таким - http://ваш_сайт/robots.txt. Если случайно поместить в какой-то вложенный каталог, поисковики его попросту не найдут и будут все делать по умолчанию.

Как пишет сам Google у robots.txt есть две главные команды - User-agent и Disallow есть еще и Allow.

  1. User-agent - указывает имя поискового бота, который должен следовать правилам. Например - User-agent: Yandex. В основном задается универсальное правило, которое указывает всем поисковикам без исключения, это - User-Agent: *.
  2. Disallow - это специальная команда, которая говорит поисковику user-agent, какие URL не нужно сканировать. Disallow всегда должен идти после User-agent, потому как он относится именно к указанным выше роботам, никак иначе. Пример написания - Disallow: /files - запрет на индексацию папки files. Есть маленькое дополнение в виде символа $. Его надо ставить после названия для того чтобы установить исключение. Если взять тот самый путь и написать его так - Disallow: /files$ то будет задано условие что путь - /files недоступен, но /files.html вполне будет обработан. Это для того, если у Вас каким-то образом название страницы совпадет с названием папки.
  3. Allow: - это обратное от Disallow, то есть разрешает индексацию.

Есть еще дополнительные команды, которые помогают поисковикам в работе с Вашим сайтом. Одной из них есть команда, указывающая путь к карте сайта - Sitemap:. Пример написания:

Sitemap: http://mysite.com/sitemaps.xml
Sitemap: http://mysite.com/sitemaps2.xml

Не мало важная директива Host - служит для того, если у Вашего сайта есть зеркало, поможет определить главное. Чтобы в поиске не было дублирующихся страниц, что есть не мало важно. Команда Host не зависима и может быть вставлена в любом месте robots.txt. Пример написания - Host: site.com

Это пожалуй самые важные и часто используемые параметры, которые могут Вам понадобится. Правильное создание robots.txt поможет организовать правильную индексацию Вашего сайта.

На этом все, спасибо за внимание. 🙂

Если Вам был полезным мой труд, можете поддержать сайт, обменяться со мной текстовыми ссылками или посмотреть рекламку, что займет 2 минуты :)

Оцените статью
  1. 5
  2. 4
  3. 3
  4. 2
  5. 1
Проголосовало: 4, в среднем: 5 из 5
Читайте также
Комментариев нет. Оставьте первый

Добавить комментарий

Чтобы оставить комментарий - заполните поля ниже. Ваш e-mail не будет опубликован. Все поля обязательны

Нажмите, чтобы добавить код в комментарий. Далее добавьте свой код внутрь тегов <code> тут код </code>
Я ознакомлен(а) с политикой конфиденциальности и даю согласие на обработку персональных данных*

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.