Какие существуют способы ускорения парсинга?

Question

[xuxubla]

Хотелось бы узнать, как можно сократить время парсинга? 25000 товаров = 25000 страниц. Занимает открытие страницы и сбор информации около 4х часов.

Comments

[Алексей Уколов]

Если задаете такой вопрос и не прикладываете код, не забывайте добавлять тег "Дежурный экстрасенс".

Answer 1

[myfirepukan]

curl ускорить нельзя, только если multi использовать, а так да, параллельно несколько скриптов запустите

Comments

[xuxubla]

myfirepukan Я про curl ничего и не говорил) Нет такого) По неопытности не знаю, зачем она нужна. В данном случае все работает и так. Если объясните, буду признателен. Использую simple html dom.

[myfirepukan]

xuxubla: создай файлов с simple html dom один обрабатывает записи с 1 до 5000 второй 5000-10000 и т.д. Запускай их по крону

[myfirepukan]

xuxubla: блин "создай *пять файлов с simple html dom" комментарии нельзя редактировать ))

[xuxubla]

myfirepukan: Ок! Спс! Попробую. Но вот только смогу ли я в один файл записывать одновременно из эти пяти файлов? Коль уж ты такой отзывчивый, мб ответишь еще на пару вопросов?)) 1) Нужно результат парсинга записывать в csv (ну или xls). Первая строка - заголовки, остальное собственно результаты. Что предпочтительнее и более гибко? Для csv вроде есть встроенные функции типа fputcsv, но зато без BOM нужной кодировки я не добился. 2) Как лучше парсить картинки? Какой функцией сохранять себе в папку?

[myfirepukan]

xuxubla: поставь в первом файле в начале sleep(0) во втором sleep(10) в третьем 20 и т.д. и тогда все они смогут писать в один файл. В CSV формате сильно не разбираюсь. Картинки слышал file_get_contents можно как-то забирать но сам не пробовал

[sbh]

Думаю вариант со Sleep ненадежен. Любая задержка и возможно создание ситуации когда 2 потока обратятся одновременно.

[myfirepukan]

sbh: Все верно у каждого файла свой файл с результатами конечно получше будет, но потом их объединять надо ещё

[xuxubla]

sbh: myfirepukan: ну а вообще, такая длительность для 25000 страниц, загружаемых последовательно, адекватна? Просто чтобы понять, искать мне где-то косяк или не искать? Насчет картинок да, file_get_contents() это понятно) А вот само сохранение? Вероятно copy()?

[sbh]

xuxubla: Косяк где вы собрались искать? На чем вы собрались писать парсер?

[xuxubla]

sbh: На php) И он уже почти выполнен. Вопрос в оптимизации.

Answer 2

[Роман Вебс]

Разбить на шаги, выполнять шаги параллельно, использовать мультикурл и широкий канал связи - чтобы минимизировать задержки на запрос-ответ.

Answer 3

[Артур Нуруллин]

отказаться от PHP и переписать все на языке, поддерживающим многопоточность

Comments

[DevMan]

из пушки по воробьям.

[Артур Нуруллин]

DevMan: глупости не говорите

[DevMan]

Артур Нуруллин: сами своему совету последуйте.
большинство времени при парсинге в основном уходит на получение данных, а не на обработку.
а теперь вопрос, если переписать это на .net и получать данные в один поток (а именно так сейчас он делает, хотя в PHP есть возможность получать их в несколько потоков), ему это сильно поможет?

[Артур Нуруллин]

DevMan: зачем же в 1-м потоке, я и предусматривал многопоточный парсинг.
Своему совету я последую и будет все гут =), к тому же php никогда не поддерживал многопоточность, там это костылями делается

[DevMan]

Артур Нуруллин: затем, что в PHP есть возможность (и я об этом сказал) получать данные параллельно без всяких костылей штатными средствами, но автор этого не делает.
поверьте, я это пишу не в защиту пыха (если гляните коменты к моему ответу, то я предлагал такой же вариант).