Как взаимодействовать с JS кодом сайта на C#?

Question

[Полиш Флэймзровер]

Вообщем, суть проблемы состоит в том, что я делаю программу для Twitter'a, и мне надо взять со страницы https://twitter.com куки, такие как: ct0, mbox, kdt, но их генерирует JavaScript ( если отключите его ( JS ) в хроме, то эти куки не появятся ). У меня вопрос: как я могу выудить эти куки без помощи селениума и прочих библиотек? Кстати, скажу: я видел код JS в Source ( F12 > Source ), то там не было значений этих кук, вроде document.cookie. Они просто генерировались определённым скриптом.
Вообщем, как я могу достать те куки без сторонних библиотек? Если можете, то подскажите хотя бы путь.

Answer 1

[Владимир Коротенко]

Крупные порталы противятся скрапингу, это в общем то обычная проблема.
Решается Headless браузерами селениумом который вы упомянули. В общем вам желательно полностью совпадать с типичным клиентом.

Может показаться дурацким, но посмотрите в api и поговорите со службой поддержки, возможно они согласятся что такой функционал нужен и дадут вам добро. Часто бывало такое

Comments

[Полиш Флэймзровер]

Владимир Коротенко К сожалению, в API, если не ошибаюсь, отсутствует на авторизацию на сайт + там сильное ограничение по кол-ву запросов. Можете хотя бы подсказать, что читнуть, дабы исполнить мою мечту из заголовка вопроса? : )

[Владимир Коротенко]

Polish_Flamethrower, Все зависит от драйвера

Для сумасшедшего дома так
https://www.selenium.dev/documentation/en/support_...

[Полиш Флэймзровер]

Владимир Коротенко, Т.е, если я правильно понял, всё-таки с помощью обычных HttpWebRequest и т.п не получится реализовать мою затею? Придётся использовать веббраузеры?

[Полиш Флэймзровер]

Владимир Коротенко, Подредактировал сообщение, если что, немного.

[Владимир Коротенко]

Polish_Flamethrower, В общем да. Просто если делать запросами, прийдется учитывать все характеристики браузера.

[Полиш Флэймзровер]

Владимир Коротенко, Стоп, но это всё-таки возможно? А где это тогда можно детальнее глянуть инфу об этом, можете подсказать?

[Владимир Коротенко]

Polish_Flamethrower, смотрите общение с сервером, все заголовки подделывайте, запрашивайте все файлы, выполняйте в виртуальной машине все скрипты. Это очень жестко и не даст вам уверенности

[Полиш Флэймзровер]

Владимир Коротенко, Понял, спасибо, но даст зато скорость + всё-таки не будет рекапчи на каждом шагу, как в случае с Selenium.

[Владимир Коротенко]

Polish_Flamethrower, С чего бы?
Рекапча как раз и отсекает скраперов. ЕЕ в первую очередь обрабатывайте на бото фермах, а то не пропустит

[Полиш Флэймзровер]

Владимир Коротенко, Хех, ну, я в своё время использовал Selenium для i.ua, например, то там заместь галочки в рекапче приходилось еще с десяток картинок подтверждать и высматривать автобусы.

[Полиш Флэймзровер]

Владимир Коротенко, Ну, а скорость вроде же сильно теряется, верно?