Как создать грабер для сайта на .NET?

Question

[alex99505]

Всем привет!
Есть онлайн-сервис поисковой системы.
Поиск выполняется методом отправки формы с ключем для проверки.
Хочу соорудить некое API для поиска из под своей программы.

Приходит в голову только использовать встроенный веб-браузер и там орудовать функциями...
Кто-то знает варианты выполнения js для вот такой ситуации, ведь важно иметь этот ключ, который выделяется при каждой обнове страницы?

Answer 1

[Rou1997]

Нет никакой необходимости выполнять js, клиентская часть общается с сервером по HTTP, а js это мишура сверху, достаточно сделать анализ (Fiddler, Wireshark, Chrome DevTools, исходный код страницы) и подделать все необходимые запросы, и какой-то из них возвращает тот ключ в том или ином виде.
Идея с "движком" браузера не плоха, есть минусы и плюсы (избавляет от необходимости имитировать каждый запрос со всеми заголовками), но это должен быть не простой "движок", а специально заточенный для этого, например, Phantom.js

Comments

[alex99505]

Phantom.js нужно подключать в проект .NET и там реализовывать?
Не сталкивался с подключением чего-то, кроме .cs)

[Rou1997]

alex99505: я с ним не работал пока. Только чистый HTTP. Скрипты пишутся на js с особым API отдельно, но так или иначе можно наладить связь с ними из проекта .NET, даже видел какую-то готовую оберкту, погуглите phantomjs c#

[Зелимхан Бельтоев]

alex99505: Selenium может использовать PhantomJS в качестве браузера для запуска JS-скриптов

Answer 2

[Зелимхан Бельтоев]

Используйте Selenium

Answer 3

[AlekseenkoAV]

Попробуйте посмотреть в сторону libcurl, такие задачи как отправка веб-формы ему вполне по силам.

Answer 4

[MIsternik]

Сам не пробовал, но видел возможность работы с js в AngleSharp -> AngleSharp.Scripting