Как правильно получить весь сайтмап с кодом ответа?

Question

[Orbb]

Приветствую,

есть у меня сайт на битриксе, в нем - около 100т. страниц.
Тут оптимизатор решил что в сайтмапе должны быть только страницы с ответом сервера 200. 301, 302, 404 и прочие нам тут не нужны.
Написал агент, протестил его на инфоблоке с сотней записей, все отлично отработало. Но как только я сделал выборку ~5000, скрипт стал работать не очень. В принципе, оно и логично - 0,2s на запрос до урла через cURL, как раз где-то час и выходит.

Подскажите, каким образом вы бы решили такую задачу?

У меня сейчас есть идея разобрать этот функционал на 3 скрипта, один делает выборку урлов по 1 инфоблоку за раз, второй cURLом бегает по массиву через sleep, так же по одному инфоблоку за раз, третий потом все это объединяет в один .xml. Не знаю насколько быстрее получится.

А может и не надо вовсе бегать курлом...?

Answer 1

[Dimonchik]

вообще решается со стороны сайта, через роутер т.е.

но если решили внешне - нет способа кроме как перебать

или оставьте как есть и чистите по логам уже

Comments

[Orbb]

боюсь, что роутер битрикса это чудовище, на которое нет управы.

например, у меня есть на поддержке сайт, в котором структура урлов виртуальная и не имеет никакого отношения к инфоблокам и физическим файлам. Все через редиректы и urlRewrite. Работать с таким набором сплошь удовольствие. Страниц ~14т. Из них 8к - товарные.

Окей, спасибо за ответ, будем перебирать дальше)