Как работает сервис поиска по упоминаниям в соц сетях?

Question

[DavidKhripunov]

Давно ищу какую либо документацию или статьи по теме, но как то четно. В какую сторону смотреть и что почитать может кто подскажет, чтобы можно было написать сервис поиска по ключевым словам в соц сетях?
Например типа youscan.io или br-analytics.ru
Кто-то сталкивался с таким?

Comments

[Viktor T2]

Регулярное сканирование и создание собственного
массива данных, обвешеного разными индексами
и разными системами аналитики.
Цитата с Brand Analytics :
"Есть ли у вас архив сообщений и за какой период?
Да, мы храним в архиве все публичные русскоязычные сообщения из социальных медиа с августа 2012 года. Это уникальный архив, поскольку он состоит из полного объема сообщений соцмедиа, а не собранного по небольшому количеству поисковых запросов. Объем архива сейчас превышает 100 миллиардов сообщений. Доступ к архиву предоставляется за отдельную плату, по запросу. При подписке на стандартные тарифы Brand Analytics архив доступен глубиной 1 месяц."

[DavidKhripunov]

js-newbie, Насколько мне известно, API не дает такой функции

[Viktor T2]

js-newbie, Тупо парсинг
но это кастомный парсинг
чуть больше технических подробностей:
https://www.oreilly.com/library/view/mining-the-so...
https://www.oreilly.com/library/view/social-media-...
https://link.springer.com/book/10.1007/978-1-4302-...

Answer 1

[ThunderCat]

а из конкретных Фейсбука и Вконтакте, к примеру? Тупо парсинг? API? Некое сочетание того и другого?

Только парсинг, только хардкор. АПИ не дают доступа к постам и перепискам, все ручками, благо там не сказать что какой-то слишком сложный алгоритм. Да, есть нюансы с авторизацией и аккаунтами, спам траффиком и прочими похожими проблемами, но в целом достаточно тривиальная работа краулера. Скорее всего часть тащится обычными запросами из курла, а часть вытаскивается через условный вебдрайвер, а ля пупитир или селениум.

Answer 2

[Пума Тайланд]

Просто индексируешь все в соцсети и потом ищешь по тексту как даже угодно