Есть ли программа, выполняющая много запросов на поиск в интернете?

Question

[Mnobody]

Нужно искать текстовую информацию в интернете. Будет выполняться много запросов. Пишут что в Google API есть ограничение в 100 запросов с одного ip, после чего последующие становяться платными. Задача в том что-бы найти бесплатное решение с использованием возможных альтернатив google api, может bing или yahoo или что-то еще. Хотелось бы найти найболее простой вариант. По сути надо получать содержимое сайта(текст) и парсить его.

Update: Нашел что-то такое: faroo.
Но тут ограниченное количество языков поиска. Мне нужна возможность искать на польском языке.

Answer 1

[Илья]

В своё время искал подобное решение для своих задач. Наиболее подходящим оказался Bing: 5.000 бесплатный запросов в месяц https://datamarket.azure.com/dataset/bing/search (если нужен поиск только по вебу, без картинок и прочего - только еще 5.000: https://datamarket.azure.com/dataset/bing/searchweb).
Только имейте в виду, что и у Google и у Bing между результатами в браузере и результатами по API огромная разница (попробуйте сами). В моём случае разница такая, что пришлось отказаться от самой идеи.

Comments

[Mnobody]

я тут думал насчет duck duck go, blippex или что-то в эту сторону(с бесплатным api). В принципе мне не нужна точность гугла, а достаточно будет иметь какие-то результаты чтобы проверить работу моего приложения (приложение в стиле антиплагиат)

[Илья]

@Mnobody К сожалению, с этими системами опыта нет, подсказать нечего. А вы вот эту недавнюю статью читали на хабре: habrahabr.ru/post/199190 Как раз на тему плагиата и возможные проблемы при работе с поисковиками описаны.

[Mnobody]

@Gorily Да, отличная статья. Как начал читать так обрадовался, пока не дочитал до места в котором говориться что google api платное. Еще бы кто помог с автором связаться(я read-only). Есть много вопросов как по поиску так и по алгоритмам сравнения и т.д.
В принципе программа должна быть в универ на зачет и достаточно что-бы хоть что-то как-то вертелось. Можно было бы искать в локальной(тестовой, маленькой базе), но это как-то слишком просто. Кроме того мне уже самому просто интересно сделать нечто столь маштабное.

[Илья]

@Mnobody Как вариант, чтобы было интересно и более масштабно, можно реализовать автоматическую выгрузку с нескольких сайтов рефератов. Хотя там обычно каптча.
Не обязательно текстовая _маленькая_ база. Можно сделать текстовую огромную, достаточно импортировать в неё пару DVD сборников рефератов.
Можно сделать и то и то.
Я придерживаюсь мнения, что искать через гугл не целесообразно. Дело в том, что практически все крупные рефератные базы, а также онлайн библиотеки и каталоги либо не дают полных текстов без регистрации, либо закрывают страницы от поисковиков.
Автор статьи: vk.com/gatoazul

[Mnobody]

@Gorily Согласен что не целесообразно, но по условиям что-то должно быть связано с нетом, сетями, протоколами(проект по предмету сети). Следовательно поиск в нете должен быть, а базу потом если понадобиться можно будет просто подключить (это будет проще реализовать), кроме того мне просто не хочеться возиться с базой, занимать место.
Поискать в контакте, это же так просто. Как я не додумался.
Большое спасибо!