Как лучше выполнять разбор большого количества данных на php?

Question

[Александр Савенко]

Здравствуйте!
Не знаю как лучше выполнять обработку большого количества url с разбором. Разбираю данные от турагенств. Выбираю между:
1) Костыль с многопоточностью на php. Какой костыль лучше использовать?
2) Очередь задач. Например Rabbitmq (вроде как удобно администрировать, есть вэб панель), может что-то еще посоветуете?

Заранее спасибо за ответы.

Answer 1

[Дмитрий Энтелис]

1) Многие советуют Gearman, у меня лично как то не пошло.
У нас есть в одном проекте задача по || парсингу, в итоге до сих пор работает вариант "в лоб": скрипт в какой то момент форкается на сколько нужно потоков, выполняет все задачи по парсингу, скидывает данные в redis, основной процесс дожидается окончания форков и забирает все из redis.

2) Rabbitmq хорошая штука, но тут уже от Ваших задач смотрите.
Если нужно парсить что то в realtime (пока ждет пользователь) - то очереди тут на мой взгляд не к месту.
Если нужно парсить в фоне - да, очереди отлично. Можно rabbit, можно тот же redis (если не нужна сложная логика по распределению запросов)

Comments

[Александр Савенко]

Нужно парсить в фоне. При линейном разборе по времени занимает неделю на 1 круг задач (Задачи на Mysql сейчас), а это долго и хочется сократить время выполняя параллельно некоторые задачи.

[Дмитрий Энтелис]

Александр Савенко: это сколько у Вас страниц что оно их неделю парсит o_O. Или это в 1 поток?
Опять же из личного опыта: замерьте на что время уходит - может быть какой то лок в базе, может быть страница парсится каким то богомерзким phpQuery итд.
Ну и очереди да + многопоточный скрипт.
Есть мнение что запускать нужно потоков по количеству ядер - но опять же по моему опыту все редко упирается в процессор, скорее в io, поэтому поиграйтесь количеством потоков сами.

[Александр Савенко]

Дмитрий, да это 1 поток. Например я запрашиваю компанию с запросом "2 врослых, 1 ребенок, Италия" в ответ мне прилетает список из 1000 url-ов по которым я могу забрать результат для разбора и это только по 1-ой компании. Компаний несколько. Соответственно все очень сильно затягивается(((

[Дмитрий Энтелис]

Александр Савенко: а реально так много нужно? вроде бы есть 17 туроператоров которые покрывают почти все?
ну и если вы такие запросы делаете - зачем их в фоне считать?

Answer 2

[Сергей Протько]

Костыль с многопоточностью на php

а где там кастыль?

у вас так или иначе должна быть очередь. Использовать rabbitmq, zeromq, reddis или просто в php хранить массив задач (в stl есть очереди) - решать вам.

Так же у вас должен быть один воркер для скачивания информации (возможно не один) в несколько потоков (multi curl) и список проексей если он вам нужен. Если у вас есть список проксей - то имеет смысл так же в отдельном воркере (или периодически в промежутках) проверять статус проксей.

Так же вам нужны воркеры которые будут парсить результат запросов.

Можно вооружиться pthreads и разнести все воркеры по потокам и сделать доступ к очереди потоко безопасным. Если в качестве очереди используется кролик, то тогда у каждого коркера ссылка на свою очередь задач. В этом случае проще скейлить парсер.

Comments

[Александр Савенко]

Сергей,
Спасибо за наводку на pthreads. Появилась идея создать для каждой компании свой класс и передавать параметры в него, используя только pthreads, а набор параметров ("2 врослых, 1 ребенок, Италия","3 врослых, 1 ребенок, Италия" и т.д.) хранящихся в MySql. Так можно делать, т.е. это правильно?

[Сергей Протько]

Александр Савенко: да, можно... хотя это может быть пустой тратой ресурсов если у вас тред на таск.