Dimonchik

https://httpbin.org/cookies тут проверяй

NID=116=abc - это что за формат такой? равно один раз можно для ондной куки

в залогиненом состоянии лучше

xe.com , РБК, Финам

Яху Финанс, Блумберг или тут что-то выберите

https://coinmarketcap.com/api/ + сейчас хайп, есть и другие

отпечаток браузера

но вообще у ФБ сильный ML, у вконтактов всяких тоже,но другие задачи

поэтому с ФБ / Инстой сложно

а где есть прогноз на завтра? сами стройте, это ж прогноз

вообще лучше DOM

но начать можешь с парса сохраненной на диске

если прокси - как он забанит?

автотроттл без прокси обычно нужен, если стоит целенаправленная защита - он не поможет, а ттак в самый раз

проверь рукапчу, во-первых, на 100-1000 попыток
тебе же никто не обещает ввода символов именно твоей отправленной капчи )))

во-вторых - добейтся идентичности заголовков
браузера и скриптов

Chrome + F12 + Networking

или Fiddler

с fail2ban начни

методы защиты есть и вполне простые

например https прокси не так много и т.п.

когда не легально - тогда прибыльно

конечно, нет

ты сразу показываешь что парсишь

вообще хорошо бы и пользователя заменить, но если никак - канает обычный

time.sleep(10)
htmlbody = driver.page_source

но Селениум на то и Селениум, чтобы там
закодить какой-нибудь wait until

scraper, parser, http requests, human emulation

в курле есть verbose

у контент даунлоадера форум же есть

+ интерфейс помогает выделять

классика же

есть альтернатива от китайских товраищей, но самому с Скрапи лучше

если пишешь аннотации и потом ссылка на стороний рес - то нормально, цитаты 1 в 1 - в целом нет, но по паре абзацев можно