Парсинг базы более миллиона позиций, как сделать?

Question

[jamster]

Собственно, есть сайт с базой более миллиона позиций, необходимо перенести на новый сайт, как лучше всего сделать?

Answer 1

[Сергей Нижний Новгород]

Если у них нет защиты от парснига, то пишите обычный парсер, который перебирает все позиции. Обязательно соблюдайте тайм-ауты, обязательно отдавайте адекватные user-agent, обязательно обрабатывайте исключения. Если есть какая-то защита, то уже надо изголяться со всякими библиотеками распознавания капчи, эмулятор действий и прочее.

Answer 2

[Илья Хребет]

В каком формате находятся такие позиции? Это как-то связано с базой данных? Используйте её механизмы для переноса.

Comments

[jamster]

Спасибо за ответ, Доступа к сайту нет, тем боллее к БД. Вот пример rfadres.ru

[Илья Хребет]

jamster, значит берите и парсите) Соблюдайте таймаут. Что именно не получается?

Answer 3

[Дмитрий]

AftParser(бесплатный) или Datacol(платный).

Comments

[jamster]

Спасибо за ответ, давно работал с datacol, его можно научить заполнять произвольные поля?

[Дмитрий]

jamster, честно говоря, я не обратил внимание. Моя задача крайне скромной была, по селекторам стянуть основное содержимое одного магазина на opencart и переделать то, что на выходе получилось под файл-таблиц, для импорта woocommerce в другой магазин. Но, полагаю платный модуль для таких целей существует, ведь не похоже что ребята остановились на одной целевой аудитории и не расширяют модульно свой продукт.

Answer 4

[Сергей]

php simple html dom parser