Ищется сервис/софт для автоматизации ввода форм на вебсайтах, и возврата данных в базу данных?

Question

[BigD]

Приветствую.


Ищу готовые онлайн сервисы или софт, позволяющий ежедневно пробегать по заранее заданному сценарию по определенным сайтам, выбирать города из списка, вводить названия определенных препаратов, парсить эти страницы, собирать цены, и писать их в какую-то БД. Все сайты, конечно, разные, как и форматы данных на них.


Нечто подобное, кажется, есть у humanemulator.info/ но хочется альтернатив для сравнения, чтобы победил сильнейший.

Answer 1

[Максим]

Советую посмотреть zennoposter. Пользуюсь с 2010 года, софт стоит своих денег, как по мне, так лучше хуманэмулятора.

Comments

[Alexander]

Поддерживаю, Zennoposter то что нужно. Не уверен правда, что он сможет запарсить данные, но попробовать стоит.

[ra1nbow]

Zennoposter мощная прога) Записывает действия в браузере в виде блок-схемы, потом их выполняет. Кстати, запарсить данные как раз таки не проблема :)

Хотя, судя по тегам, автор не новичок, вроде как в демке постера есть CodeCreator — там можно писать код на C#, соответственно, можно прописать и разбор данных, и логику, и коннект к своей базе

Answer 2

[Дмитрий]

однозначно selenium docs.seleniumhq.org
на компьютере запускается демон Selenium RC (1 файл на java) и он например по JSON принимает команды хоть удаленно, хоть с локальной машины…
например примитивные команды: открыть браузер firefox, перетий по урлу www.ya.ru, вбить в поле «абв», нажать кнопку «найти», если не найден в результатах поиска сайт «abc.ru» сделать принскрин и написать мне.

Answer 3

[Дмитрий]

кстати selenium — FREE, а за вашу программу денег просят… 250$… за то что они взяли selenium и обернули его в одно окно…

Comments

[BigD]

Спасибо. Заплатить за лицензию, настройку и поддержку — не проблема. А вот самим настраивать — проблема.

[Дмитрий]

поверьте… там все просто…
1) запускаем Selenium из виндовс это выглядит как «java -jar selenium.jar»
2) из php через REST интерфейс описание команд — code.google.com/p/selenium/wiki/JsonWireProtocol работает
2а) например: команда браузеру перейти по ссылке ya.ru при помощи CURL на PHP:

curl_setopt($ch, CURLOPT_URL,  'http://127.0.0.1:4444/wd/hub/session/'.$session_id.'/url' );
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'POST');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/json'));
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode(array( 'url'=>'http://www.ya.ru' )));

с REST легко работать на любом языке… команды простые… это только смотрится страшно…
после запуска скрипта… он соединяется с selenium по 4444 порту, и selenium уже запускает браузер и тыкает по кнопкам :)
например получить скриншот — методом GET обратиться по ссылке http://127.0.0.1:4444/wd/hub/session/$session_id/screenshot и в ответ придет JSON с base64 скришотом…
давайте я за 249$ напишу пример :)

Answer 4

[Дмитрий]

еще раз за Selenium… но если не хотите вообще что то писать ручками, можно установить Selenium ide (плагин для FF) он может записывать ваши действия а потом их повторять… он конечно не так функционален как Selenium RC но зато проще некуда www.youtube.com/watch?v=ST1Z_bvUcYc