Какие есть способы парсить 5 млн страниц?

Question

[Илья Петров]

Есть сайт https://www.discogs.com, с него необходимо спарсить около 5 млн страниц

На сайте server side rendering, HTML структура не меняется

Подскажите, с какими проблемами можно столкнуться при парсинге?

Comments

[Владислав Лысков]

на том, который знаешь

[Dmitry Roo]

Cf когда обойдете - сразу можно к парсингу приступить

[Илья Петров]

Dmitry Roo, что такое cf?

[Dmitry Roo]

Илья Петров, Cloudflare WAF

[Илья Петров]

Dmitry Roo, не нашел на Discogs следов CloudFlare

[Dmitry]

Илья Петров, нашел следы CF за тебя, благодарности не надо.