Регулярный парсинг с занесением результатов в таблицу Mysql

Question

[grindel]

Здравствуйте!
У меня есть некое подобие домашнего сервера на Debian Linux. Мне хочется что-бы он, допустим, раз в 10мин заходил на закрытую страницу в контакте (с cookies), находил там посты от определённого пользователя и с определённой меткой и добавлял их текст в бд, причём определённым способом (в зависимости от метки/меток в посте). И естественно он должен добавлять только новые посты.

Подскажите пожалуйста как это реализовать?
Я в растерянности, даже не знаю с чего начать, что гуглить.

Comments

[vsespb]

Хоть поясните какими языками программирования владеете, и опишите опыт в программировании, в следующих технологиях — xml, regexps, http (libcurl итд), http — знание протокола, mysql.

Answer 1

[Golden]

perl и модули к нему: lwp — для работы с веб, dbi — для хождения в мускуль. Запускать как сказано выше кроном, либо скрипт демонизировать. while 1, если вы понимаете о чем я (с)

Если задача требует реализации, а не баловство для личного развития, можно обратится за разработкой к сторонним специалистам, ресурсов для этого полно, фриланс, одеск и т.д. не буду рекламировать, они мне за это не платят.

Comments

[grindel]

Как раз для развития)

[Golden]

Ну тогда определись на чем хотелось бы написать, а тут тебе подскажут какие средства языка использовать, лично я могу посоветовать модули к перлу, питону и гемы для руби. Насчет работы через API вконтакта я бы не стал запариваться, начал бы с написания простенького самодостаточного приложения, ну а затем начал бы к нему прикручивать «ништяки», оптимизировать, и искать более правильные и менее ресурсоемкие решения и реализации.

[grindel]

Честно говоря хочется начать изучать C++.
Но готов попробовать и что-то другое:)
А что оно будет представлять из себя без работы с VK api?

[Golden]

Без работы с api vk, и не важно на чем написанное, это будет самостоятельное приложение, которое будет «притворятся» браузером, честно авторизовываться, кушать куки, и вообще вести себя как пользователь.

В плане реализации я вижу два пути:
1) Написать это приложение (скрипт) и запускать его по расписанию cron’ом
2) Сделать его «демоном» т.е. чтобы он запускался init.d скриптом, и висел в памяти, работая в бесконечном цикле, и отзывался на сигналы (INIT,TERM и т.д.) тут можно и о многопоточности подумать.

На c/c++ я бы такое писать не стал, получится «из пушки по воробьям», посмотрел бы в сторону перл/питон/руби и т.д. Хотя я не достаточно хорошо знаю си чтобы внятно рассуждать на это тему.

[grindel]

Хорошо) Но зачем же делать его как браузер, когда vk api даёт всё что мне нужно?

[Golden]

Я не говорю что нужно делать именно так, просто подробней остановился на этом варианте. API у вконтактика подробно описано, так что вооружился документацией, нагуглил экземплы и вперед.

Answer 2

[avalak]

Cron — для выполнения по расписанию.
VK API (оно должно быть удобнее для этих целей) / CURL (изображаем браузер) — для получения данных
HTML parser (специфично для каждого языка. Лучший вариант если соберётесь косить под браузер)
SQL запрос / ORM / AR для общения с БД.

В общих чертах как-то так.

Comments

[grindel]

То есть вы предлагаете написать свою программу и запускать её Cron'ом. Я правильно понял?

[Пума Тайланд]

А вы как хотели то? Что оно само что ли будет ложиться. 8)