Как реализовать сбор большого объема данных?

Question

[vetsmen]

Как правильно реализовать архитектуру для сбора большого объема статистики?
Нужно будет выполнять порядка 50.000 запросов на сторонний API раз в 15 минут, брать данные и записывать их в БД.
Сможет ли вообще нода на одном сервере справиться с этим? Какое нужно железо для такого объема? Как реализовать саму логику сборщика сиатистики (как я понимаю, поставить setInterval на 15минут и циклом проходить по данным и делать запрос плохая идея)? Справится ли с такой нагрузкой mysql без масштабирования?

Comments

[sim3x]

Вас забанят через 30 минут такого спама

[vetsmen]

sim3x, сервис, куда отправляю запросы, высоконагруженный + всегда есть прокси сервера на крайний случай

[sim3x]

vetsmen, начните с простого - просто попробуйте пропарсить на 50-100 потоках и посмотреть сколько ето займет времени

Если не забанят и парсинг пройдет за менее чем 15 минут, то просто запихиваем скрипт в крон и стартуем с интервалом 15 мин

И поищите феймворки для парсинга

Answer 1

[xmoonlight]

50000/(15*60) ~ 56 запросов в секунду на сторонний API!
А мужики-то знают?!)

Comments

[vetsmen]

YouTube API, лимит запросов в сутки с одного IP: 1.000.000

[xmoonlight]

vetsmen,

YouTube API, лимит запросов в сутки с одного IP: 1.000.000

11,5 запросов в секунду.

[vetsmen]

xmoonlight, никто не отменял прокси

[xmoonlight]

vetsmen, никто не отменял поведенческий фактор, DNSBL и базу прокси.

Answer 2

[Илья Герасимов]

Реализовать логику так чтобы не приходилось кидать 50к запросов раз в 15 минут, а так по факту делать очереди и добавлять задачи на сбор информации, поскольку это внешний сервис и его работоспособность нам неведома, то очереди помогут. Да и есть вероятность того, что сбор не отработал и тут по таймеру мы вновь запускаем новый, ох и треш тут может начаться если не учитывать конфл. запросы. Вот инструмент для очередей (redis) https://github.com/Automattic/kue