Нужно-ли закрывать какие-либо разделы сайта в robots.txt для Bitrix24?

Question

[DzenRoamer]

Собстенного говоря очень нужет типовой robots.txt для сайта на конструкторе Bitrix24. Нужно ли в обязательном порядке закрывать какие-то каталоги, или допустимо открыть весь сайт для индексации?

Например вот таким вот файлом:
User-agent: *
Disallow:

Или все-таки что-то обязательно нужно закрыть?

Answer 1

[Александр Денисов]

Типовой будет такой:

User-agent: *               # правила для всех роботов
Disallow: /cgi-bin          # папка на хостинге
Disallow: /bitrix/          # папка с системными файлами битрикса
Disallow: *bitrix_*=        # GET-запросы битрикса
Disallow: /local/           # папка с системными файлами битрикса
Disallow: /*index.php$      # дубли страниц index.php
Disallow: /auth/            # авторизация
Disallow: *auth=            # авторизация
Disallow: /personal/        # личный кабинет
Disallow: *register=        # регистрация
Disallow: *forgot_password= # забыли пароль
Disallow: *change_password= # изменить пароль
Disallow: *login=           # логин
Disallow: *logout=          # выход
Disallow: */search/         # поиск
Disallow: *action=          # действия
Disallow: *print=           # печать
Disallow: *?new=Y           # новая страница
Disallow: *?edit=           # редактирование
Disallow: *?preview=        # предпросмотр
Disallow: *backurl=         # трекбеки
Disallow: *back_url=        # трекбеки
Disallow: *back_url_admin=  # трекбеки
Disallow: *captcha          # каптча
Disallow: */feed            # все фиды
Disallow: */rss             # rss фид
Disallow: *?FILTER*=        # здесь и ниже различные популярные параметры фильтров
Allow: */upload/            # открываем папку с файлами uploads
Allow: /bitrix/*.js         # здесь и далее открываем для индексации скрипты
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif

# Укажите один или несколько файлов Sitemap
Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz

Но советую после внедрения такого роботса проверить сайт краулинком через нетпик или Screaming Frog на наличие нужных страниц, закрытых от индексации.

Comments

[DzenRoamer]

Спасибо большое. Не получалось найти эту информацию по Битрикс24. По обычному Битрикс1С есть, но я не знаю подходит это или нет.

[Petr_Kudr]

DzenRoamer, данный robots.txt не подходит для магазинов на Битрикс24. Вы не решили данную проблему?
Я тоже ищу.