Суть вопроса в том что на одном сайте на CMS 1С-Битрикс внезапно стали индексироваться странные урл. Причем состоят они из случайных наборов существующих кодов элементов (ELEMENT_CODE) и разделов (SECTION_CODE) не связанных друг с другом. Некоторые из них содержат и дополнительные параметры(навигации, включения/выключения режима правки и т.д. и т.п.). Какбы ссылок подобных быть не может, т.к. чпу настроено.
Написал небольшой парсер ссылок, который после загрузки скапливал все ссылки на странице и сохранял их в общий файл. В итоге странных ссылок там нет. Все ссылки там верные и рабочие.
UPD: забыл написать что мне нужен сервис в котором можно отследить с какой страницы был получен урл для выдачи
