Robots.txt - файл, содержащий правила (рекомендации) по индексированию сайта для роботов поисковых систем.

При запуске сайта, особенно в случае проведения каких-либо технических работ (например, разработке seo-фильтра, подключении дополнительных модулей и прочего функционала) мы рекомендуем закрыть его от индексации, оставив в индексе только главную страницу. Сделать это можно, прописав в robots.txt следующие правила:

User-Agent: Yandex
Disallow: /
Allow: /$

User-Agent: *
Disallow: /
Allow: /$

Делается это для того, чтобы в индекс поисковых систем не попали служебные страницы, дубли, страницы с ошибками, скриптами. Это позволит вам избежать проблем с продвижением вашего сайта в будущем.

Если же вы определились со структурой сайта, провели все технические работы, наполнили его товарами и ваша задача заключается только в наполнении его контентом (описания разделов, товаров, новости, статьи, акции и прочее) вы можете использовать robots.txt со следующими директивами:

User-Agent: Yandex
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /upload/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*/filter/
Disallow: /*sort=
Disallow: /*order=
Disallow: /*view=
Disallow: /*num=
Disallow: /*q=
Disallow: /*M_ID=
Disallow: /*/price
Disallow: /*/clear/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Allow: /upload/*.png
Allow: /upload/*.jpg
Allow: /upload/*.jpeg
Allow: /upload/*.gif
Host: site.ru

User-Agent: *
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /upload/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*/filter/
Disallow: /*sort=
Disallow: /*order=
Disallow: /*view=
Disallow: /*num=
Disallow: /*q=
Disallow: /*M_ID=
Disallow: /*/price
Disallow: /*/clear/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Allow: /upload/*.png
Allow: /upload/*.jpg
Allow: /upload/*.jpeg
Allow: /upload/*.gif
Sitemap: http://site.ru/sitemap.xml

Обратите внимание на следующие моменты:

  • Директива "Host" используется только вместе с директивой "User-Agent: Yandex". В своем проекте вам нужно прописать вместо записи "site.ru" наименование своего сайта. Если ваш сайт работает по протоколу http - допустима запись "Host: site.ru" Если ваш сайт работает по протоколу https - это нужно указать "Host: https://site.ru".
  • Данный перечень правил не является исчерпывающим, вы в любой момент можете его корректировать исходя из задач и особенностей своего проекта.

Важно!!!

При осуществлении перехода на решение BXReady: Флагман нужно обязательно проверить какое ЧПУ используется на текущем (действующем) сайте. Также с текущего (действующего) сайта на новый нужно перенести файлы robots.txt и sitemap.xml

Какое ЧПУ по-умолчанию используется в решении BXReady: Флагман описано здесь.



 SEO | Описание курса | Генерация sitemap.xml