Как программным способом парсить интернет?

Question

[Павел Падожников]

Очень хочу узнать, как реализовывается программа которая может без проблем скачивать картинки или собирать любую информацию заданной в программе. На коком языке писать такие программы (из консоли linux)?

Comments

[abs0lut]

bzr.savannah.gnu.org/lh/wget/trunk/files
Развлекайтесь

Answer 1

[abcyu]

Без разницы. Который лучше знаешь. Все универсальные языки программирования позволяют создать такую программу.

Если задача простая и довольно конкретная, то вполне можно обойтись готовыми программами curl или wget и никакой программы вообще писать не нужно, ну разве что простейнький скрипт, который запустить curl или wget (причем скрипт этот не обязателен, можно запустить curl/wget просто из командной строки).

А программа нужна, если нужно прочитать страницу с сайта, проанализировать её содержимое и перейти к скачиванию других файлов с этого же сайта по ссылкам, которые содержаться на странице скачанной до того.

Хотя в простейших случаях рекурсивное скачивание также можно решить простейшими утилитами (может быть те же wget и curl это тоже умеют).

Comments

[Павел Падожников]

Вот про анализ сайта, есть в интернете примеры такой программы с открытым кодом?

[abcyu]

Павел Падожников:

wget и curl с открытым исходным кодом.

Но вы не сформулировали задачу, описали слишком общими словами.
Существует несколько классов ПО для решения разных задач, попадающих под ваше нечеткое описание.

wget и curl уже упомянуты, они решают задачу одного класса.
упомянутый уже scrapy решает задачу другого класса, близкую тем, что решают wget и curl. Scrapy с открытым кодом.
другие также близкие задачи, решаются с помощью PhantomJS, который тоже с открытым кодом.

Пока вы не зададите более точный вопрос, вы не получите более точный ответ.

Если не можете задать вопрос однозначно, то попробуйте расписать то, что вы хотите получить более пространно, более подробно, мы попытаемся догадаться сами.

Из вышеприведенных наиболее близок к "анализу сайта", если я правильно понял вашу мысль - Scrapy.
Только Scrapy это не программа, а это фреймворк или библиотека, то есть инструмент для создания программ определенного рода.

К Scrapy прилагаются примеры как писать с его использование программы. Их можно взять за основу при ознакомлении и, например, переделать под себя.

[Павел Падожников]

abcyu: Один раз увидел пост, в котором описывались действия: мужчина скачивал фотографии с сайта vk.com задавая определенные критерии и после их анализировал на схожесть, все это затевалось для поиска незнакомца, который написал поздравительное сообщение о рождении его ребенка.
Мне очень понравилась это, так как раньше этого не видал. Пример задачи, который будет тестовый: Скачать все фотографии с именем Наташа из Москвы сайт (facebook, vk)

Если есть похожие задачи и решением, буду рад научиться интересному.

[abcyu]

zucker: у VK есть API. Это не совсем типичный сайт. В случае VK или facebook сначала нужно изучить возможности API. Если API позволяет решить проблему, то можно без всяких scrapy и wget.

Answer 2

[kezel]

C++ на сокетах... ваще норм, и защиту исследуешь