alta77
@alta77

Как лучше парсить +300k товаров?

Всем привет! сабж.
Исполнитель написал парсер, но с его слов:
оно спарсило сперва структуру каталога часов за 6, потом возникла ошибка.
потом чтобы запустить парсинг товаров по каталогу - оно часа полтора только повторно считывало спарсенный каталог, чтобы продолжить и допарсить остаток.

после этого я запустил на парсинг товаров. порядка 30000 товаров оно парсило 7 часов. после этого выбило ошибку.
Чтобы только поправить эту ошибку и посмотреть сработало ли для этой страницы - оно только часа 3 будет по новому проходить по каталогу и этим товарам, пока не дойдет до нужной отметки.
Только 3 часа ждать чтобы посмотреть правильно ли я ошибку понял и помогла ли правка. И дальше могут какие-то новые ошибки возникать.
И соответственно каждые новые 10000 товаров будет все сложнее добывать.


Должна же быть какая-то технология, способ парсинга такого количества магазинов?
У данного исполнителя не смогу выяснить какие-либо подробности. Ушел в Новый год)
ps сайт донор на MODx
  • Вопрос задан
  • 1063 просмотра
Пригласить эксперта
Ответы на вопрос 4
sergey-gornostaev
@sergey-gornostaev Куратор тега Python
Седой и строгий
Требуется технология прямых рук, судя по всему.
Ответ написан
Комментировать
NightmareZz
@NightmareZz
Нищий разработчик из Симферополя
Извините, но телепаты ещё не вернулись с новогодних каникул. Я к тому, что по Вашему описанию, никто в мире не скажет точно, проблема в кривых руках разработчика, сложности задачи, недостатка денег и времени или чего либо ещё, или всего вместе взятого.
Ответ написан
Комментировать
@v2254303
Контент довландер
Ответ написан
Комментировать
@Sovetnikov
технический директор pulsprodaj.ru
Пришлите код, пожскажу как просто сделать парсер рабочим.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы