Get запрос. Как дать отработать всем скриптам?

Question

[estry]

Привет. Как отправить запрос на сайт и получить в ответ страницу (исходный код страницы) с отработанными скриптами.

HttpWebRequest myHttpWebRequest = (HttpWebRequest) HttpWebRequest.Create("site.com");
HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();
StreamReader myStreamReader = new StreamReader(myHttpWebResponse.GetResponseStream(), Encoding.GetEncoding(1251));

Console.WriteLine(myStreamReader.ReadToEnd());

Таким способом получаю только часть страницы

Answer 1

[#]

начинался камент.. потом думай а чеб не ответить то? повтор:

IE удобен тем, что подхватывает всё, что стоит в IE под пользователем - аутентификацию, куки, например

у IE как приложение - свой профиль. у встраиваемого компонента - другой профиль. и они точно не пересекаются. upd но так точно было раньше.. на сколько давно?.. не думаю что важно.. но я всего года 3-4 как не ботил встроенным ИЕ ))

еще один существенный недостаток движка IE - все больше сайтов перестают его полноценно поддерживать

но как стартовый вариант для вхождения в увлекательный мир ботизации - ессно самый доступный ))

ps но ботам как правило нужны уникальные профили. у IE с этим монолит - упомянутые выше - один для IE самого по себе, и еще один абсолютно на все интеграшки

как для ботизации (тут надо понимать что это не обязательно что то порицаемое или не верное - бот как такой, это автоматизация рутинных действий с сайтом. а если создатели сайта дают интересную (и бесплатную) инфу, но не научились пилить АПИ - бот может быть объективно полезной кому то необходимостью.. хотя все топ популярные инструменты, как правило это инструменты тестирования интерфейса ))) (upd самый топ - Selenium)

краткие наброски:
- все таки CEF#
- если надо на сервере - умеет работать "без головы" (без гуи)
- есть даже форк "безголовый", сохранял ссылку, но не помню где
- если надо движок фокса - GeckoFx. проект интересный, но очевидно белее вялый
- и снова о серверах - есть и другие "безголовые движки", даже на ноде (читай хромиум, читай казалось бы братья CEFу (да да # это только обертка над оригинальным проектом "встраиваемый хромиум")).. но как то выходит что CEF-клоны универсальнее, надежнее и быстрее обновляются

Answer 2

[Петр]

Сервера не выполняют скрипты. Скрипты выполняются браузером.
Поэтому никак.

Answer 3

[Alex XYZ]

Использовать Embedded Browser и запускать всё на компе, который запрашивает URL. Можно использовать встроенный IE: System.Windows.Forms.WebBrowser (не работает, пока не виден на экране) или Embedded Chrome в двух вариантах - CefSharp (Та же проблема, что и с IE) и его же версия, но CefSharp Healdess, но вот тут можно уже не выводить на экран.
IE удобен тем, что подхватывает всё, что стоит в IE под пользователем - аутентификацию, куки, например. CefSharp сам по себе.

Comments

[#]

IE удобен тем, что подхватывает всё, что стоит в IE под пользователем - аутентификацию, куки, например

у IE как приложение - свой профиль. у встраиваемого компонента - другой профиль. и они точно не пересекаются.

еще один существенный недостаток движка IE - все больше сайтов перестают его полноценно поддерживать

но как стартовый вариант для вхождения в увлекательный мир ботазации - ессно самый доступный ))

ps но ботам как правило нужны уникальные профили. у IE с этим монолит - упомянутые выше - один для IE самого по себе, и еще один абсолютно на все интеграшки

[#]

Embedded Chrome в двух вариантах - CefSharp (Та же проблема, что и с IE)

на сколько я помню, оригинальный CEF#, имеет в демках (консольную, чуть ли не единственную) которая данную и фичи демонстрирует ))

повторюсь - есть чисто "безголовый клон" (но ссылку потерял).. там возможно есть выигрыш в ресурсах (и снова - вряд ли такой что бы расшибиться, если надо провернуть 1-2 таски )))

ну а в общем случае, оригинал умеет работать "без головы" - "из коробки".. и для освоения принципов, этого более чем достаточно

[Alex XYZ]

#, >>у IE как приложение - свой профиль. у встраиваемого компонента - другой профиль. и они точно не пересекаются
Мой опыт говорит об обратном. Я аутентифицируюсь в IE под своим профилем, запускаю форму с встроенным IE и получаю доступ к своему профилю:




>>есть чисто "безголовый клон"
Исходная задача толком не описана, не могу комментировать обоснованность применения компонентов. Я так понял, что автор в принципе интересовался возможностью, но как он собирался применять компоненты - неизвестно.

[#]

Захаров Александр, нашел время, проверил.. и удивлен )) .. и свой ответ поправил ))

ну что же? все течет.. и все меняется.. от хрю, и до первых в10, это было еще так как я описывал.. но не буду спорить дальше первых релизов в10

на сколько я понимаю, это было связано с политикой МС, по отношению к корпоративным приложениям. последнее время, МС, делает иногда широкие, иногда странные жесты, изображая себя "демократичной"..

возможно это один из таких жестов. но ему не более 5 лет точно ))