Как настроить генерацию Sitemap, чтобы не попадали страницы заблокированные в robots.txt?

Question

[run182]

Как настроить, чтобы закрытые в robots.txt и через страницы не попадали в карту сайта?

Answer 1

[Виктор Таран]

https://dev.1c-bitrix.ru/learning/course/?COURSE_I...

Comments

[run182]

Хорошая статья, спасибо! Но там нет ответа на вопрос

[Виктор Таран]

там есть базовый функционал позволающий отключать как элементы через ЧПУ
так и статические файлы что вам еще нужно?

[run182]

Виктор Таран, по идее в карту сайта не должны попадать страницы из robots, я имел ввиду, чтобы при генерации проверялись заблокированные страницы в robots, а не вручную их прописывать и там и там

[Виктор Таран]

а что вы там "вечно" пытаетесь прописать вот хотелось бы знать, хоть роботс свой дайте

[run182]

User-Agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Disallow: /question-answer/
Disallow: /search
Disallow: /telephone-form/
Disallow: /*index
Disallow: /*?
Disallow: /*&
Allow: /*PAGEN_1=
Disallow: /*display*
Disallow: /vodosnabzhenie/
Disallow: /*sort*
Disallow: /local/
Disallow: /*bitrix
Disallow: /*clear_cache=*
Disallow: /*order=*
Disallow: /*df_test*
Disallow: /*sd=*
Disallow: /*openstat*
Disallow: /*.swf
Disallow: /*page
Disallow: /*index.php
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER
Disallow: /*print=
Disallow: /*print_course=
Disallow: /*action=
Sitemap: https://www.***.ru/sitemap.xml

[Виктор Таран]

ну и что по вашему отсюда не должно попасть в сайтмап, чего нельзя сделать средствами настройки сайтмапа?
вы хоть пример то покажите
Disallow: /*?
так вы не делайте таких страниц, их реально не дложно быть, а страницы смарт фильтра так же не попадают.

[run182]

Виктор Таран, "я имел ввиду, чтобы при генерации проверялись заблокированные страницы в robots, а не вручную их прописывать и там и там"

[Виктор Таран]

run182, и я про тоже
у вас там ничего нет чтобы это автоматизировать , у вас robots.txt из 30 строк.
Вы просто настройте правильно sitemap

[run182]

Виктор Таран, при генерации sitemap страница /vodosnabzhenie/ попадает в результат, хотя она заблокирована в robots.txt

[Виктор Таран]

в настройках сайтмап вы выбираете логическая структура или файловая, там же выбор галочке для файлов( которые лежат в разделах) и инфоблоков, что еще нужно то ?
снимите галочку, НЕУЖЕЛИ ТАК ТРУДНО ПОЧИТАТЬ МАН ?

[Виктор Таран]

[run182]

Виктор Таран, пустая переписка. Как настраивается sitemap я знаю, вопрос был не об этом

[Виктор Таран]

run182, вы пытаетесь сделать функционал через ж внутрь мехом, когда он реализован уже нормально.