X
  • Дизайн та розробка сайту
  • Дизайн і створення сайтів. Розробка тем для WordPress. Створення Landing Page.
  • office@gnatkovsky.com.ua
  • @vgnat
  • Написати мені
Замовити послугу

Как создать файл robots.txt

Приклад
  • 2024-10-06
  • 2674 переглядів

  • Дизайн та розробка сайту

Доброго времени суток. 🙂

Сегодня поговорим с Вами о маленьком но полезном файле - robots.txt. Если представить Ваш сайт как страну, ссылки как дороги, робот поисковик как машина, то этот файл для него ПДД. То есть он указывает поисковикам, что можно индексировать, что нельзя, плюс некоторые дополнительные функции.

robots.txt

robots.txt - это первое, что ищет поисковик, перед тем, как индексировать Ваш сайт. Так что он является обязательным элементом. Если внутри файлов вашего сайта есть каталоги,, которые не следует индексировать, Вы можете с легкостью это указать в robots.txt и поисковики стороной будут обходить эту папку.

Чтобы создать robots.txt, не нужно специальных программ и навыков, все это делается с помощью обычного блокнота. Просто создайте текстовый файл и назовите его - robots.txt.

Этот файл нужно поместить в корневую папку сайта, чтобы путь к нему был таким - http://ваш_сайт/robots.txt. Если случайно поместить в какой-то вложенный каталог, поисковики его попросту не найдут и будут все делать по умолчанию.

Как пишет сам Google у robots.txt есть две главные команды - User-agent и Disallow есть еще и Allow.

  1. User-agent - указывает имя поискового бота, который должен следовать правилам. Например - User-agent: Yandex. В основном задается универсальное правило, которое указывает всем поисковикам без исключения, это - User-Agent: *.
  2. Disallow - это специальная команда, которая говорит поисковику user-agent, какие URL не нужно сканировать. Disallow всегда должен идти после User-agent, потому как он относится именно к указанным выше роботам, никак иначе. Пример написания - Disallow: /files - запрет на индексацию папки files. Есть маленькое дополнение в виде символа $. Его надо ставить после названия для того чтобы установить исключение. Если взять тот самый путь и написать его так - Disallow: /files$ то будет задано условие что путь - /files недоступен, но /files.html вполне будет обработан. Это для того, если у Вас каким-то образом название страницы совпадет с названием папки.
  3. Allow: - это обратное от Disallow, то есть разрешает индексацию.

Есть еще дополнительные команды, которые помогают поисковикам в работе с Вашим сайтом. Одной из них есть команда, указывающая путь к карте сайта - Sitemap:. Пример написания:

Sitemap: http://mysite.com/sitemaps.xml
Sitemap: http://mysite.com/sitemaps2.xml

Не мало важная директива Host - служит для того, если у Вашего сайта есть зеркало, поможет определить главное. Чтобы в поиске не было дублирующихся страниц, что есть не мало важно. Команда Host не зависима и может быть вставлена в любом месте robots.txt. Пример написания - Host: site.com

Это пожалуй самые важные и часто используемые параметры, которые могут Вам понадобится. Правильное создание robots.txt поможет организовать правильную индексацию Вашего сайта.

На этом все, спасибо за внимание. 🙂

Якщо Вам була корисна моя праця, можете фінансово підтримати сайт або відключити блокувальник реклами, що займе 2 хвилини :)

Хочу підтримати фінансово Хочу відключити блокувальник

Оцініть статтю
  1. 5
  2. 4
  3. 3
  4. 2
  5. 1
Проголосовало: 4, в среднем: 5 из 5
Читайте також

Deprecated: Функція WP_Query викликана з аргументом, який вважається застарілим з версії 3.1.0! Вираз caller_get_posts застарілий. Використовуйте ignore_sticky_posts. in /var/www/vhosts/gnatkovsky.com.ua/gnatkovsky.com.ua/public/wp-includes/functions.php on line 6078