На основе чего лучше писать ботов для работы с сайтами начинающему C#-программисту?

Question

[Xveeder]

Здравствуйте.

Активно изучаю С#. Интересует написание ботов для соц. сетей, регеров, парсеров которые будут работать с сайтом непосредственно через браузер (да, я знаю что работать будут в разы медленнее). Вопрос в том, что многие говорят что ботов на get/post запросах палят гораздо быстрее, чем ботов работающих с браузером.

Соответственно, возник вопрос, на основе какого решения лучше всего писать браузерную автоматизацию для новичка? В основном говорят о Selenium, Webbrowser, некоторые советуют работать с движком Chrome.

Как минимум интересуют варианты, при которых поток выполняется в трее, без занимания активного окна компьютера.

Спасибо.

Answer 1

[Олег]

Как минимум интересуют варианты, при которых поток выполняется в трее, без занимания активного окна компьютера.

Два потока: один приоритетный - где будут ключевые действия: запросы, парсинг, обработка; другой за остальное отвечает. В трей приложение можно свернуть независимо от того бот это или что-нибудь другое.
google -> minimize to tray

Соответственно, возник вопрос, на основе какого решения лучше всего писать браузерную автоматизацию для новичка? В основном говорят о Selenium, Webbrowser, некоторые советуют работать с движком Chrome.

Разница минимальна. Если нужно отправлять простые запросы, то WebBrowser. Если более сложные, где стоит ddos-filter или что-угодно, распознающее частые попытки, то можно использовать как Selenium, так и настраивать WebBrowser: юзер-агент, куки, прокси etc. На моём опыте проще использовать было WebBrowser, так как не было задержки первого запуска и ответы приходили быстрее.

Comments

[Xveeder]

Да, в идеале хочется плотно разобраться в этой технологии и писать устойчивый к защитам софт.

Чтобы можно было загружать юзерагенты, прикручивать многопоток, сохранять в профиль: куки, кеш, юзерагенты, прокси и данные окна, а затем загружать этот профиль при каждом инстансе с конкретным аккаунтом, дабы сайт видел всегда одного и того же юзера.

Вот и ищу наиболее удобную технологию для этого.

Answer 2

[Виталий]

а ети все боты нельзя сделать как расширение для хрома? На javascripte придется писать, но зато они и спрятаны и отображение результатов можно сделать проще намного раз через броузер все равно работать будет..

Comments

[Xveeder]

а ети все боты нельзя сделать как расширение для хрома? На javascripte придется писать, но зато они и спрятаны и отображение результатов можно сделать проще намного раз через броузер все равно работать будет..

На самом деле - да, но тут вопрос в том, что это будет совсем маленькое приложение, которое не будет способно запускаться в многопотоке, привязываться к железу, выполнять некоторые функции и т.д.

[Виталий]

Xveeder: в хроме есть штука которая называется Native Masage которая позволяет слать сообщения любой программе установленной на компе, так что если написать прогу которая будет принимать ети собщения и установить на компе, то можно сделать все..
А промизы реализуют многопоточность в хроме, а фоновая страница в расширении вообще отдельный поток