Парсинг базы более миллиона позиций, как сделать?

Собственно, есть сайт с базой более миллиона позиций, необходимо перенести на новый сайт, как лучше всего сделать?
  • Вопрос задан
  • 308 просмотров
Пригласить эксперта
Ответы на вопрос 4
Если у них нет защиты от парснига, то пишите обычный парсер, который перебирает все позиции. Обязательно соблюдайте тайм-ауты, обязательно отдавайте адекватные user-agent, обязательно обрабатывайте исключения. Если есть какая-то защита, то уже надо изголяться со всякими библиотеками распознавания капчи, эмулятор действий и прочее.
Ответ написан
В каком формате находятся такие позиции? Это как-то связано с базой данных? Используйте её механизмы для переноса.
Ответ написан
git507
@git507
КодДауншифтер со стажем.
AftParser(бесплатный) или Datacol(платный).
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы