Что легче всего использовать для написания бота для браузера?

Question

[sivabur]

На чем эмулировать работу человека в браузере с точки зрения скорости разработки и многочисленных возможностей.
1.с# webrowser
2.Писать расширениях под гугл хром
3.Писать расширениях под мозилу
4.Использовать пользовательский(аналог CodeMonkey по моему называется) js под гугл хром
5.Писать пользовательский js (CodeMonkey по моему называется) под мозилу
6. Использовать эмуляторы на которых делают автоматичиские тесты верстки и интерфейс
7. Использовать программу Clickerman и etc.

Answer 1

[angry_cellophane]

www.seleniumhq.org

Comments

[sivabur]

а он лушче будет чем webBrowser на с#?

Answer 2

[FINYA]

Разобраться в Selenium WebDriver

Comments

[sivabur]

а есть возможность прокси сервера использовать? И сервисы антикапчи?

[FINYA]

sivabur: про антикапчу не знаю но прокси вроде да

Answer 3

[Yuri Shikanov]

phantomjs

Comments

[sivabur]

Если сравнивать в плане скорости разработки с webBrowser c# win forms/Силениум? возможностей емуляции ?

[Yuri Shikanov]

sivabur: фантом значительно быстрее, тут небольшой тест есть wbtech.ru/blog/ralli_na_brauzerakh

Answer 4

[Oxoron]

Помимо Селениума, указанного выше, можете использовать CodedUI тесты от Microsoft. Встроены в студию.

Comments

[sivabur]

а оно получше будет чем компонент webBrowser c# win forms/Силениум?(в плане быстроты разработки, возможностей эмуляции)

[Oxoron]

sivabur: С вебом и Selenium не работал, про WinForms же... Один раз записанный сценарий нельзя изменить, что вынуждает дробить многие действия на части, и записывать каждую часть отдельно. Для небольшого числа неизменяемых тестов это невыгодно, если же тестов много и\или UI меняется - довольно удобно. То есть, разработка не быстрая, зато поддержка радует. Полагаю, аналогичная ситуация и в других подобных фреймворках.
Честно говоря, выбор зависит от размеров команды и целей. Например, CUIT не особо работают с базой. При этом на питерском .NEXT 2014 был доклад про связку FitNess + Selenium, там, если не ошибаюсь, удобно кодировать заполнение БД перед тестом.
Если хочется просто закликать чужую игрушку - кликерман в помощь. Если хочется тестировать свою, в т.ч. с логикой - тут CUIT подойдет.

Answer 5

[D']

Если нужно платное и готовое, то можно HumanEmulator или ZennoPoster. В них в принципе все есть из коробки, и скрипты под них довольно просто писать.

Answer 6

[Дмитрий Шинкарь]

На Джаве можно такую штуку на кодить... =)

Comments

[sivabur]

какую именно джаву использовать? и почему лучше под джаву и какие элементы использовать?

[Дмитрий Шинкарь]

Писал не я, а наш бек-эндер. Прога называлась Turist (есть подозрения что он допиливал уже существующий софт, так что прогуглите хорошенько)

На счет "почему лучше" не скажу, потому что изначально небыло разговора о том что это "лучше" =)

Прога открывала браузер, вбивала определенные запросы в гугл и переходила по этим запросам.

[sivabur]

Дмитрий Шинкарь: а так такии проги без емуляции пишутся это 1 хттп запрос и получения ответа. Нужно именно подержана джава скрипта, перемещения миши тесть эмуляция полноценного пользователя.

[Дмитрий Шинкарь]

sivabur: ааа, все сложнее чем я думал...) кстати сам турист у меня где-то дома валялся, если очень надо...

[sivabur]

Дмитрий Шинкарь: я понял, не ненужно спасибо=)

Answer 7

[Emil Revencu]

Если на Винде то можно и VBS (работает тоже быстро)

Comments

[sivabur]

думаю врятли кто то такии вещи пишет на вбс...и работает он довольно таки не шустро.

[Emil Revencu]

sivabur: когда-то я сравнил селениум и вбс при скрапе: вбс оказался шустрее

[sivabur]

Revencu: что такое скрап? и в какой среде выполнялся вбс?(ексель офис или что то другое)

[Emil Revencu]

sivabur: https://en.wikipedia.org/wiki/Web_scraping . VBS выполнялся как скрипт через CSCRIPT

[sivabur]

Revencu: VBS выполнялся как скрипт через CSCRIPT(как я пронял через командную строку ет делается можете кинуть какието примеры или силку на мануалы имено для браузера а то сразу ничего путного не нашол)

[Emil Revencu]

Set ie = CreateObject("InternetExplorer.Application")
ie.visible=true
ie.navigate "toster.ru"
do until not(ie.Busy) and ie.ReadyState=4
wscript.sleep 10
loop
set html = ie.Document
set div=html.getElementsByClassName("layout__topbar_add-question")
if div.length>0 then
set a=div(0).getElementsByClassName("btn btn_green btn_add-question")
if a.length>0 then
a(0).click()
end if
end if

[Emil Revencu]

если не надо ждать полной загрузки страницы меняй ie.ReadyState=3

[Emil Revencu]

это пример клика за "Задать вопрос" на сайте TOSTER.RU.

[Emil Revencu]

Ну и для быстроты Эксплорера нужно отключить показ рисунков

Set objShell = CreateObject("Wscript.Shell")
regval = "HKCU\Software\Microsoft\Internet Explorer\Main\Display Inline Images"
objShell.RegWrite regval, "no", "REG_SZ"

[sivabur]

Revencu: отпадает так как с джава скриптом пробелмы у екплорера.

[Emil Revencu]

Хм... Какие ещё проблемы у IE с JS?

[sivabur]

Revencu: не все корректно обрабатывает.(ну может это у меня была специфическая проблема с определено версией которая являлась движком в компоненте webbrowser C#)