@nano_e_t_4

Стоит ли испольщовать хадуп?

Всем драсьте
Есть задача, вбирать в себя очень много логов (около терика в час, но это граница). Пробовали кластер из 24 эластиков с грамотно настроенными рсислогами, ингестами, в аккурат под задачу настроенным лвм и прочими плюшками, но оно в результате упирается в ла и падает. Если не упиралось в ла, то упирается в мемори и все равно падает. Это конечно все можно еще подтюнить, но поскольку нагрузка может быть еще больше, то в целом смотрим в сторону хадупа. Решил спросить вот здесь, может кто посоветует какие либо дельные советы по эксплуатации
Задача в итоге стоит такая: принимать в себя очень много логов, и через апи (самописное) отдавать запрошенные и уже распрасенные логи каком нибудь жсоне.

конфиги щас честно говоря не скину, не настроен впн

по ресурсам, 4 хостера в wz, я щас не вспомню, но вроде 730-е
  • Вопрос задан
  • 267 просмотров
Пригласить эксперта
Ответы на вопрос 2
dimonchik2013
@dimonchik2013
...нечеловечески он пел, нечеловечески танцуя...
гы гы, Эластик...

ну Хадуп проще всего, только при чем тут "отдавать" ?

посмотри на Clickhouse, если в один ход, вдруг зайдет

если не в один - держи в уме, что от варианта "держать на проде только аггрегированные", сиречь отдавать, а "raw data отдельно и медленно" не уйти

решения различны
запись - от того же Постгреса / Перконы до plain text файлов (типа тот же Хадуп),
до прямо в Клик, зависит от ... как сэмплирования, так и предподготовленных запросов

оработка - Клик, (есть фантазии с Сфинксом, но Клик сделал их не нужными) до какого-нибудь Тарантула
( тут опыта нет, соррри) и Аэроспайка

просто смотри на узкие места, бери быстрые инструменты (а Эластик ниразу ни по чем не быстрый) и собирай паззл
Ответ написан
@mossat
Hadoop потянет конечно. Имею в админе и разработке 2 Пб кластер с логами в 3-4 ТБ/сут., которые после ETL обращаются в 5-10 млрд строк в Hbase. Вопроса здесь скорее в железе и его количестве. Также быстрая запись требует навыков, а это Java Api MR, Pig или NiFi.
В эластике все легче.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
ФАЛТ МФТИ Жуковский
от 30 000 до 40 000 руб.
PeoplePass Москва
от 150 000 до 250 000 руб.
UGOL Санкт-Петербург
от 150 000 руб.