Всем драсьте
Есть задача, вбирать в себя очень много логов (около терика в час, но это граница). Пробовали кластер из 24 эластиков с грамотно настроенными рсислогами, ингестами, в аккурат под задачу настроенным лвм и прочими плюшками, но оно в результате упирается в ла и падает. Если не упиралось в ла, то упирается в мемори и все равно падает. Это конечно все можно еще подтюнить, но поскольку нагрузка может быть еще больше, то в целом смотрим в сторону хадупа. Решил спросить вот здесь, может кто посоветует какие либо дельные советы по эксплуатации
Задача в итоге стоит такая: принимать в себя очень много логов, и через апи (самописное) отдавать запрошенные и уже распрасенные логи каком нибудь жсоне.
конфиги щас честно говоря не скину, не настроен впн
по ресурсам, 4 хостера в wz, я щас не вспомню, но вроде 730-е
ну Хадуп проще всего, только при чем тут "отдавать" ?
посмотри на Clickhouse, если в один ход, вдруг зайдет
если не в один - держи в уме, что от варианта "держать на проде только аггрегированные", сиречь отдавать, а "raw data отдельно и медленно" не уйти
решения различны
запись - от того же Постгреса / Перконы до plain text файлов (типа тот же Хадуп),
до прямо в Клик, зависит от ... как сэмплирования, так и предподготовленных запросов
оработка - Клик, (есть фантазии с Сфинксом, но Клик сделал их не нужными) до какого-нибудь Тарантула
( тут опыта нет, соррри) и Аэроспайка
просто смотри на узкие места, бери быстрые инструменты (а Эластик ниразу ни по чем не быстрый) и собирай паззл
Hadoop потянет конечно. Имею в админе и разработке 2 Пб кластер с логами в 3-4 ТБ/сут., которые после ETL обращаются в 5-10 млрд строк в Hbase. Вопроса здесь скорее в железе и его количестве. Также быстрая запись требует навыков, а это Java Api MR, Pig или NiFi.
В эластике все легче.
