Dimonchik

в апишке гугла, как работает их рекапча и увидел, что там предусмотрено для других сайтов обращение к апи гугл на проверку g-recaptcha-response, и там требуется secret key, который известен только самому Гуглу

это не из этой темы

берешь отладчик - Хром или Селениум или Фидлер или все вместе,
смотришь что куда приходит уходит,
потом заменяешь в своем скрипте отправку на ручную и вводишь с текущего хоста,
таймауты,
добиваешься проходимости,

потом ручную меняешь на антикапчу,
не забываешь за таймауты,

solved

https://pyotp.readthedocs.io/

эта жужжит?

вроде гитхаб обновляется

бери фидлер

или тестируй на https://httpbin.org/ твой код, смотри что получает сервер

такие заголовки

'Cache-Control': 'no-cache',
         'Connection': 'keep-alive',
         'DNT': '1',
         'Host': 'somesite.ru',

не настраиваются в коде вообще никогда
ну, может, 1-2 из них теоретически можно настроить ( но не нужно), но это точно не Host

только заметил:

про куки в заголовках - очень смешно

вместо
text()
@data-url

там же вебсокет, скорее всего

если JSON- это проще

шуруй все в список списков

потом открывай книгу , вписывай список списков в цикле, закрывай

сначала пройдись по пагинации, собери урлы постов, потом по постам

и Селениум обязателен? просто scrapy не справится?

Не как не могу ничего придумать.

из файла прочитать не можешь?

чудесОВ не бывает

ФФ поустойчивее Хрома к антиселениумским заморочкам

ставь фидлер, смотри внимательно что там кто там

если уж точно рвется без JS - дело в IP