Как выполнить запрос c# httpclient, если сервер требует js?

Question

[Виктор П.]

Добрый день!
Хотел сделать небольшой парсер для браузерной игры на c#. Через HttpClient делаю пост запрос на страницу с логином, отправляю свой логин/пароль и вместо страницы с игрой возвращается кастомное сообщение


Деактивирован JavaScript. Для оптимального использования возможностей игры необходимо, чтобы в вашем браузере была включена поддержка JavaScript.



Как сервер узнал, что у меня отсутствует js, что можно сделать в такой ситуации или хотя бы подскажите, что писать в поисковике, я не могу сформулировать.

p.s. я уверен, что такие ситуации как-то обходятся просто. Не хочется городить расширение для хрома, мне просто собирать статистику про соседей в игре )

Answer 1

[mishkaaaaaa]

Похоже, что вам нужен Selenium. Но хотелось бы посмотреть на запрос и ответ. Или хотя бы скажите, какой сайт пытаетесь парсить

Comments

[Виктор П.]

сайт travian.ru, да похоже, что это я просто кипешь развожу как обычно. Видимо, тег noscript меня интересовал, но должно и дальше проходить, я просто перепугался. Завтра гляну )

[mishkaaaaaa]

Виктор П., там реакт, так что вероятность того, что придётся повозиться, всё же есть)

[Роман]

Виктор П., вполне может быть, страница и через js генерируется, даже может js скрипты генерируются на сервере, все может быть, тут только селениум поможет.

Answer 2

[#]

в каментах выше подсказана суть - много чего может формироваться js
в вопросах ботизации нас интересует только клиентская сторона, что генерируется на сервере не очень важно, если на клиенте все отрабатывает так как ожидает сервер
selenium классика но и не единственный вариант:
- расширения браузеров (которых вы хотели бы избежать)
- безголовые браузеры (прям так и гуглите, можете добавлять слова бот, автоматизация, тема оч популярная)
- cefsharp (а нас же тег C#?) (но я бы не сказал что низкий порог входа)
- GeckoFx мне оч нравится, но катастрофически редко обновляется
- chromiumfx менее известен, зато регулярно обновляется
- если сайт поддерживает IE, WebBrowser/WebView (Forms/WPF) в шарпе "из коробки" (под виндой)
- в принципе есть еще WebView UWP (метро) там сразу Edge. но порог вхождения тоже повыше немного будет

Comments

[Виктор П.]

На формсах был опыт, не хочу больше )
Спасибо, я решил не заморачиваться и всё же пилить расширение для хрома, так можно будет и другие функции автоматизировать, что ж, судьба ) видят боги, я не хотел ))

[#]

Виктор П., ну эт дело хозяйское, за несколько лет, делал несколько пробных подходов к снаряду. но дальше повтора простейших семплов ни разу не продвинулся ))
тут многое зависит от задачи. иногда расширение может быть и лучшим решением
но у меня свои бзики:
- надо возможность работы с различными профилями, в тч одновременно
- при этом некий логически бэкенд комфортнее иметь единым (хотя возможно расширениям можно предоставить локальный web api? любопытно, впервые пришло в голову, но не уверен что там все комфортно можно разрулить)
.. в общем случае, моим хотелкам больше удовлетворяют кандидаты из встраиваемых, при чем сторонних, cefsharp, geckofx, chromiumfx. а то у МС всегда проблемы с мультипрофильностью ;))

[Виктор П.]

#, да, вполне, я один раз делал расширение, которое скидывало данные по api на единый бекенд. В расширение я подключал jquery и кидал $.post без заморочек. Единственное, на беке должен быть подключен cors, но это тоже три строчки

[#]

Виктор П., спсб! меня правда клинит в js, ну или пока клинит ))
студенты asp с кусками js если подкидывают - не вопрос, разруливаю. а вот сам чет как то не начну никак ))
но на заметку беру ))