Как мониторить социальные сети по какой-либо теме?

Question

[Benderm]

Здравствуйте!

Есть, ряд сервисов, которые мониторят соц. сети и сми по определенным темам. Например: _wobot.ru (не реклама).

Интересен, сам способ мониторинга. Например, вк или твиттер т.е.

1. Как-то используется API данных соцсетей?
2. Как в таком случае идет обработка и хранение такого большого объема данных?

Answer 1

[iBird Rose]

а че сложно то? там в большинстве случаев идет поиск по определенным словам или хэштегам. в вк к примеру через https://vk.com/dev/wall.get парсишь посты и проверяешь есть ли там ключевые слова, которые нужны.

Comments

[Benderm]

Если, брать ВК, то сложность в том, что заранее неизвестно в каких сообществах искать. Или там, есть какой-то общий поиск?

Например, мне нужно упоминание слово kfc просто в тексте, не хештегом на стене пользователя или в сообществах.

[iBird Rose]

Benderm: https://vk.com/dev/newsfeed.search поиск по всему. как если бы вы искали просто в общем поиске в вк

Answer 2

[Руслан]

Нарисовать сову просто. Рисуем овал и дорисовываем остальную сову.
Здесь - то же самое, забираем посты из социалок, и фильтруем их, всё.
Поскольку ни одна соц.сеть не даёт выгружать ВООБЩЕ весь свой контент, надо искать через API новые посты и забирать их себе. Искать по гео-метке, по хэштэгу, по ключевикам, по trending, подписываться на новые посты ньюс-мейкеров, самообучаться. Использовать разные серверы, разные приложения, разные аккаунты. Почему? Ну например потому, что тренды в России и в США отличаются, например.

Также надо понимать, что для хранения постов за день может потребоваться даже не один, а несколько серверов, и поиск по терабайтам информации - дело довольно-таки нетривиальное. Особенно - полнотекстовый поиск.

Comments

[Benderm]

Все не так просто. Если, брать например, сервис который я написал в первом посте, то они предлагают отслжеивание упоминаний в СМИ. Сомневаюсь, что лента.ру или РИА предоставляют какое-то API.

[Руслан]

Benderm: RSS

Answer 3

[Антон Шаманов]

Само собой у них выделенные сервера. Если брать ВК, то там тупо поиск есть.