Всем привет! сабж.
Исполнитель написал парсер, но с его слов:
оно спарсило сперва структуру каталога часов за 6, потом возникла ошибка.
потом чтобы запустить парсинг товаров по каталогу - оно часа полтора только повторно считывало спарсенный каталог, чтобы продолжить и допарсить остаток.
после этого я запустил на парсинг товаров. порядка 30000 товаров оно парсило 7 часов. после этого выбило ошибку.
Чтобы только поправить эту ошибку и посмотреть сработало ли для этой страницы - оно только часа 3 будет по новому проходить по каталогу и этим товарам, пока не дойдет до нужной отметки.
Только 3 часа ждать чтобы посмотреть правильно ли я ошибку понял и помогла ли правка. И дальше могут какие-то новые ошибки возникать.
И соответственно каждые новые 10000 товаров будет все сложнее добывать.
Должна же быть какая-то технология, способ парсинга такого количества магазинов?
У данного исполнителя не смогу выяснить какие-либо подробности. Ушел в Новый год)
ps сайт донор на MODx
Простой
