База данных для записи 1.5М записей/с?

Question

[insekt]

Порекомендуйте БД для записи до 1.5М записей в сек. Одна запись порядка 100 байт. Общий объем небольшой, до 30 сек, далее старые записи удаляются.
Для каждой новой записи надо делать проверку есть ли такая уже в БД.

Comments

[leventov]

Какие требования по персистентности? Доступ с удаленного сервера или внутри одного сервера? Что значит "проверка есть ли такая база в бд" - в записи есть ключ?

[insekt]

Доступ внутри одного сервера.
Если я правильно понял ваш вопрос, то персистентность не требуется. Можно все потерять в любой момент и просто начать запись заново.
Проверять есть ли уже такая запись в БД.

Answer 1

[lega]

Используйте хеш таблицу в памяти. Если нужна сортировка тогда avltree.

Comments

[xSkyFoXx]

Согласен. Только память или напрямую из сетевого интерфейса или какое-то лёгкое in-memory решение

Answer 2

[el777]

Что делать с этими данными дальше? Просто проверять на уникальность? Если возникает дублирование: игнорировать дубли или как-то обновлять? Какие требования к надежности хранения? А то может и мемкеш подойдет?
Ставите туда значения, для сброса flush.

Comments

[lega]

Судя по цифрам которые пишут в инете про мемкеш, он не справится с нагрузкой в пределах одного сервера.

[el777]

Да, вы правы - не потянет.
Если в пределах одного сервера все, то хеш-таблицу.
Самое первое, что надо понять - что вообще хочет автор.
Наверняка уже есть нормальны решения. Тот же самый Cisco NetFlow генерит большой трафик, который как-то разгребается.

Но есть еще одна проблема: 1.5М записей по 100 байт - это 150Мбайт в сек. С учетом накладных расходов от 10% до 100% это до 300 Мбайт/сек. Итого примерно 1.2–2.5Гбит/сек. Уже нужен очень хороший сервер с 10Гб сетевой картой.

[lega]

> Итого примерно 1.2–2.5Гбит/сек.
Ну это проблемы автора, он ищет решение под (возможно) существующий поток, необязательно сеть, может он файлы с ssd разгребает.
А при пакетной передаче накладные расходы минимальны.

[el777]

У автора никаких проблем - у него абстрактная задача на "поговорить за хайлоад" :)

[insekt]

el777: У автора проблема конкретная. начал прорабатывать вариант с хеш таблицей