Простенькое веб приложение-парсер

Question

[No_Time]

Приветствую. Понадобилось написать приложение, целью которого будет парсинг некого сайта, фасовка его содержимого в бд и раздача этой самой бд при помощи api. Хотелось бы реализовать все на джаве, но если есть идеи лучше и проще, то с радостью прислушаюсь. Основной приоритет данной затеи — скорость и надежность.

Если останавливать выбор на джаве, то хотелось бы элегантное решение, без энт скриптов и огромных xml. С веб-джавой знаком весьма посредственно, буду рад ссылке на хорошей туториал!

Заранее спасибо!

Comments

[Snowindy]

Почему именно сайта?
Если "раздача этой самой бд при помощи api", то сайт как-раз не нужен. Нужен веб-сервис.

Сайт — для людей.
Веб-сервис — для машин.

Вам для кого в итоге?

[No_Time]

Предположим на примере хабра: парсим хабр на сервере, кладем посты и комменты в бд, раздаем это все при помощи рест апи. Юзаем апи, например на айфонах и андройдах — пишем лучший клиент для хабра. Вот так надо=)

Answer 1

[Анатолий]

Лучше и проще делать на том, что лушче всего знаешь, но если хочется на джаве «потому что хочу ее узнать поближе», то делайте на джаве и не обращайре внимания на другие советы (иначе читай сначала).

Comments

[No_Time]

Ок, не подскажите конкретные технологии? В джава либах и различных веб-серверах легко запутаться.

[No_Time]

Именно в выборе легко запутаться…

[Анатолий]

Лично я бы делал на пхп, я его знаю, там есть удобные парсеры xml и html (и вообще их много www.php.net/manual/en/refs.xml.php). Но это не значит что это оптимальный вариант, просто я это знаю, и парсер напишу в худшем случае за день. Ибо изучать ничего не нужно. Опять же плюс в пользу пхп — установка на сервер (сюда еще можно отнести питон/руби, они тоже просты и удобны для этих целей, но всеравно они уходят на второй план по простоте установки). Те же джава/.нет и подобные вещи подойдут лучше для крупных приложений, если вам нужно написать «просто парсер для сайта» то они вам подойдут в данном случае меньше.

Answer 2

[egorinsk]

Бросайте яву. На PHP парсер пишется в 10 строк: curl_init(), curl_exec(), preg_match_all(), mysql_connect(), mysql_select_db(), mysql_query(). Параметры функций подставьте сами, исходя из условий вашей задачи.

Comments

[Алексей Журбицкий]

preg_match_all() — фи, есть же xpath и tidy

[No_Time]

Были идеи по поводу php. Если джава-гуру не подскажут что-нить стоящее, так и сделаю.

Answer 3

[serso]

Если вы хотите нормальное решение — это Spring MVC+Web, в качестве ORM — Hibernate, OpenJPA или что-то своё.

Какой именно API вам нужно — ajax, web services? Для первого случая — решение — просто написать контроллер в Spring'e, для второго — Jax WS или что-нибудь подобное.

Администрирование — Spring Secutiry будет скорее всего достаточно, если нет — Apache Shiro можно глянуть.

Веб интерфейс — тут что угодно, начиная от JSP, заканчивая Ext GWT, хотя вам как я понимаю это не нужно.

Ссылки:
Куча туториалов на оф сайте www.springsource.org/tutorials
www.springbyexample.org/

PS Хостинг на Java будет дороже, если конечно у вас нет своего виртуального/выделенного сервера…

Comments

[No_Time]

О! Спасибо. Имелась ввиду rest апишка.

[Snowindy]

Вот вы блин предложили человеку :)
Это уже реальное промышленное решение, а он пока что хочет что-то маленькое и наколенное.

Answer 4

[vimvim]

Обратите внимание на web-harvest.sourceforge.net/
Это Java приложение со своим небольшим функциональным языком.
Вот как выглядит пример парсинга flickr:

<?xml version="1.0" encoding="UTF-8"?>
 
<config>
    <include path="functions.xml"/>
    
    <var-def name="tags" overwrite="false">art</var-def>
    <var-def name="num" overwrite="false">1</var-def>
    
    <loop index="i" item="url">
        <list>
            <var-def name="imagelinks">    
                <call name="download-multipage-list">
                    <call-param name="pageUrl">
                          <template>http://www.flickr.com/search/?q=${tags}&m=tags</template>
                    </call-param>
                    <call-param name="nextXPath">//a[contains(., 'Next')]/@href</call-param>
                    <call-param name="itemXPath">//img[@class='pc_img']/@src</call-param>
                    <call-param name="maxloops"><template>${num}</template></call-param>
                </call>
            </var-def>
        </list>
        <body>
            <empty>
                <file action="write" path='flickr/${tags.toString().replaceAll(" ", "")}/${i}.jpg' type="binary">
                    <http url='${url.toString().replaceFirst("_m.jpg", ".jpg?v=0")}'/>
                </file>
            </empty>
        </body>
    </loop>
    
</config>

Answer 5

[ophiuhus]

хотелось бы элегантное решение, без энт скриптов и огромных xml

После этого можно было не уточнять

С веб-джавой знаком весьма посредственно

Comments

[No_Time]

Содержательно! Может просветите меня? Что использовать?

Answer 6

[Сергей]

Я всегда парсю с помощью simple html dom parser
Плюсы в том, что нужный элемент выбирается по принципу селекторов в jQuery
Минусы — php. Но т.к. я его знаю лучше всего, для меня это плюс.

Не знаю, пригодиться ли Вам, но надеюсь.

Comments

[egorinsk]

Много лет назад юзал, он жрет память и не освобождает, легко вылетая за memory_limit. Уж лучше регулярки или DOM. А «принцип селекторов в jQuery» — это вообще не аргумент, регулярки или ДОМ осваиваются за 20 минут чтения документации.

[Dzen_Marketing]

phpQuery юзайте

Answer 7

[tsegorah]

парсить html можно руками тем же саксом, или можете попробовать какую-то из билиотек по ссылке
тут

как написали выше, для работы с базой данных подойдет любой jpa, тот же Hibernate
для rest интерфейса сторонним приложениям попробуйте библиотеку jersey

если вам необходим что-то небольшое, то рекомендую обратить внимание сначала на стандартные вещи, которые все это умеют, а потом уже на отдельные фреймворки

Answer 8

[Snowindy]

До создания сайта.
1. Создаем структуру базы.
2. Парсим содержимое исходного сайта, используя клинер грязных html-тэгов (нужен при некорректной разметке исходного сайта), записываем в базу.

Создание сайта:
1. Используем фреймворк Grails (довольно простой, без xml-конфигов и т.п., но мощный) для генерации вьюшек, вычитки данных из базы.
2. Сайт деплоится на хостинг, туда же переливается база.

Comments

[No_Time]

хм, до ю спик рашен? Вопрос был не о том как сайтик набросать. А как сделать велосипед-апи к уже существующему сайту.

[Snowindy]

Я в то же время не телепат, а вы, между прочим, сами про сайт спрашиваете изначально. Поаккуратнее на поворотах здесь, рискуете кармой.

А про велосипед-апи…
Вы хотите в итоге выкачать весь сайт в БД и его раздавать через веб-сервис. Отлично.
Если данные на основном сайте обновляются, вам надо поддерживать актуальность своей базы?
Если так, то есть два решения:
1. Периодически запускать службу, которая выкачает свежую информацию из основного сайта и обновить вашу базу.
2. Периодически запускать службу, которая выкачает свежую информацию из основного сайта и обновить вашу базу.

Веб-сервис пишется за полчаса на Axis2, в реализации веб-сервиса лезем в базу и отдаем что просят.

[Snowindy]

п. 2. Отказаться от промежуточной базы, все данные брать напрямую с основного сайта, адаптировать их на лету.

[No_Time]

Спасибо, похоже на то что нужно

Answer 9

[FanKiLL]

Судя по тегу, вы хотите парсить хабру, личинг это плохо:)
Можете использовать jsoup.org для парсинга сайта, очень удобная библиотека, можно брать элементы по css классам как вариант, как в jquery.
Можете создать просто parser.jar который по крону будет парсить сайт и заносить в базу данные.

Для api без всяких xml конфингов я бы предложил использовать jersey.java.net собсно который будет забирать данные из базы и отдавать их наружу в виде json/xml Всё очень просто, например class Post с мeтодом getID(int id) вы можете замапить на domen.com/post/getid/1 причём отдавать наружу можете как xml так и json смотря какой Content-Type укажет в заголовках потребитель вашего api.

Удачи. Если, что пишите, помогу чем смогу.

Comments

[No_Time]

Супер! Оч оч похоже на идеальное решение.

[FanKiLL]

Маленький tip, если таки будете кого-то парсить, узнавайте о новых постах из rss, так вы снизите нагрузку и на свой сервер и на сервер сайта который парсите.