Какие есть способы парсить 5 млн страниц?

Question

[Илья Петров]

Есть сайт https://www.discogs.com, с него необходимо спарсить около 5 млн страниц

На сайте server side rendering, HTML структура не меняется

Подскажите, с какими проблемами можно столкнуться при парсинге?

Comments

[Владислав Лысков]

на том, который знаешь

[Dmitry Roo]

Cf когда обойдете - сразу можно к парсингу приступить

[Илья Петров]

Dmitry Roo, что такое cf?

[Dmitry Roo]

Илья Петров, Cloudflare WAF

[Илья Петров]

Dmitry Roo, не нашел на Discogs следов CloudFlare

[Дмитрий]

Илья Петров, нашел следы CF за тебя, благодарности не надо.

Answer 1

[Everything_is_bad]

Любого, ты упрешься в скорость сети и возможные блокировки, а не в ограничение стека. Ну или упрешься в себя, из-за незнания стека.

Comments

[Илья Петров]

Из проблем вижу – бан по IP,
думаю, можно решить через прокси

[Everything_is_bad]

Илья Петров, я сразу написал про это - "возможные блокировки", но это не ограничения стека.