@xuxubla

Какие существуют способы ускорения парсинга?

Хотелось бы узнать, как можно сократить время парсинга? 25000 товаров = 25000 страниц. Занимает открытие страницы и сбор информации около 4х часов.
  • Вопрос задан
  • 671 просмотр
Пригласить эксперта
Ответы на вопрос 3
myfirepukan
@myfirepukan
Жарим поиск
curl ускорить нельзя, только если multi использовать, а так да, параллельно несколько скриптов запустите
Ответ написан
roman_vebs
@roman_vebs
Web-программист
Разбить на шаги, выполнять шаги параллельно, использовать мультикурл и широкий канал связи - чтобы минимизировать задержки на запрос-ответ.
Ответ написан
Splo1ter
@Splo1ter
.NET Developer (4 years+)
отказаться от PHP и переписать все на языке, поддерживающим многопоточность
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы