Как программно работать с поисковыми системами?

Question

[Иван]

Хочу написать самообучающуюся программу которая будет задавать вопросы, и искать ответ на них в поисковых системах, анализировать найденные текста, и обогощать свои знания.

Собственно вопрос вот в чем - если моя программа постоянно будет обращаться к гуглу или яндексу ее заподозрят в том что она робот, и поиск не будет работать.

Есть ли какие то поисковые механизмы специально для роботов?

Answer 1

[xmoonlight]

Поисковое API есть у гугла и яндекса, сколько-то в сутки - бесплатно, а потом - платно.
Нужно читать документацию к API и условия использования.

Answer 2

[Алексей]

Меня, как человека, и то поисковики периодически просят ввести капчу, так что простой парсинг выдачи в вашем случае не вариант.

Comments

[DevMan]

на гугле я уже забыл когда видел капчу, а вот яндекс задрачивает регулярно.