Как наименьшей «кровью» парсить каждый час статус 10000 товаров?

Question

[Евгений]

Здравствуйте,

Есть необходимость каждый час парсить статус около 10 тысяч товарных позиций. Каждый товар, это отдельная страница со статусом товара. Как это осуществить с наименьшей "кровью", как для сервера донора, так и для нагрузки на сервер, где будет работать парсер?

Благодарю.

Answer 1

[Сергей Протько]

если есть доступ к серверу донору, то попросить сделать уведомлялку. И вместо парсинга нужно будет только повесить демона который будет принимать какие-то запросы о том что что-то поменялось. Тогда не будет вообще вхолостую трафик гоняться.

В этом случае при изменении товара в очередь записывается уведомление о том что что-то поменялось и возможно инфа о том что именно поменялось. На вашем сервере клиент к очереди слушает оную и как только там что-то появляется забирает на обработку. Это и имплементить относительно несложно, и оверхэда нет.

Comments

[Евгений]

Доступа нет. А если парсить по факту запроса конкретного товара и кешировать результат на один час? Т.е. посетитель заходит на страницу товара и сразу же происходит парсинг статуса. Наверное, будет заметна небольшая задержка перед отображением страницы.

[Сергей Протько]

я думаю задержка будет ооочень ощутимой.

[Сергей Протько]

Scumtron: ну только если ваши ресурсы не на одном сервере расположены. Или в одном датацентре хотя бы.

[Евгений]

Пинг до донорского сайта ~ 2-3мс

[Евгений]

Подскажите пожалуйста, в случае, если парсить по факту запроса пользователем, какой метод парсинга будет самым производительным? Пока, полагаю, что это будет PHP curl или есть более быстрые способы?

[Сергей Протько]

Scumtron: при парсинге по факту без разницы, всеравно 90% времени будет отжирать время загрузки страницы целевой. А то и 99%.

[Евгений]

Проверил, 30-40 мс. отъедает парсинг (CURL, preg_match).

[Сергей Протько]

вы html регулярками парсите? Мисье знает толк. Ну а так у вас CURL из этого всего сьедать будет 20 мс.

[Евгений]

Сергей Протько: Подскажите пожалуйста, как ускорить парсинг в моем случае? Какие технологии использовать?

[Сергей Протько]

Scumtron: что значит ускорить, для начала замерьте сколько времени у вас уходит на получение документа, до непосредственно парсинга.

Answer 2

[sim3x]

0.

с наименьшей "кровью"

попросить сделать апи

1. Запрашивать HEAD и проверять изменилась ли страница

Исходя из всего, стоит сделать очередь и размазать запросы максимально равномерно по времени.
Твой сервер мало пострадает от нагрузки, тк ему нужно будет только принимать трафик и парсить

Ну и прикрой проксями свой ип

Comments

[Евгений]

0. API не обсуждается
1. Не поможет, так как на странице есть часто обновляемая информация: комментарии, похожих товары и реклама.

[sim3x]

Scumtron: Исходя из твоего ответа, стоит говорить, что ответ "никак"?

Answer 3

[Глюкъ Виртуален]

Зачем парсить-то?
"Девяностые 2.0" что ли?

Comments

[АртемЪ]

А что собственно изменилось? Сейчас парсить не надо? Появились какие-то волшебные способы добычи информации?

[Евгений]

Да нее, он в "замкадье" давно не был. Для него все доноры, поголовно, предоставляют API.

[Глюкъ Виртуален]

Scumtron: ну не все конечно...
Но сейчас даже у такой совковой заскорузлой конторы как Центробанк и то есть API.

[Евгений]

Глюкъ Виртуален: Был бы API, не было бы вопросов.

[Глюкъ Виртуален]

Scumtron: дык нафиг такой поставщик, которому не нужны продажи? :) Голосуем рублем, чо...

[Евгений]

Глюкъ Виртуален: Вам поговорить не с кем?