Какая из баз данных будет работать с таблицей в 1 петабайт и 3000 миллиардов записей?

Question

[k2m30]

Есть задача - хранение и поиск по логам:
timestamp - client IP - destination IP - destination URL

Таких записей появляется 10 млрд в сутки или 3000 млрд в год. При этом нет серьезных требований по нагрузке - несколько раз в месяц надо найти нужные записи.

Предполагается простой веб-интерфейс для создания запроса, но надо определиться с базой. Какая база справится с этой задачей?

Comments

[k2m30]

Postgres тоже нет - 32ТБ максимум.

[Никита Каменев]

Здравствуйте, Отдел "К" :)

[Станислав Макаров]

k2m30 главное, не храните IP строкой, как некоторые любят)

[littleguga]

Станислав Макаров: а как его хранить?

[Станислав Макаров]

littleguga
int не?

[littleguga]

Станислав Макаров: а точки сохранятся или как разбивать на части?

[Сергей]

littleguga: В 4-й версии IP-адрес представляет собой 32-битовое число.

[littleguga]

Сергей: понял. Большое спасибо!

Answer 1

[Андрей Буров]

SQLite

Comments

[k2m30]

Нет.
The largest possible setting for SQLITE_MAX_PAGE_COUNT is 2147483646. When used with the maximum page size of 65536, this gives a maximum SQLite database size of about 140 terabytes.

[Андрей Буров]

k2m30: А если серьезно Вам нужно смотреть на https://ru.wikipedia.org/wiki/%D0%A1%D0%B5%D0%BA%D...

[Станислав Макаров]

Андрей Буров хочу кнопку "Трололо" рядом с кнопкой "Нравится"

Answer 2

[Илья Ерофеев]

Может поможет. Недавно на одной местной конференции рассказывали как устроено у Avito хранение логов:


У них там не просто хранение, а монетизация всех этих данных за счет таргетинга рекламы и пр.
Интересный был доклад, жаль видео записи не сохранилось.

Вот еще ссылка на презенташку с этим докладом.

Answer 3

[Влад Животнев]

mongo + шардирование.

Answer 4

[Игорь Воротнёв]

Про Big Data слышали? На таких масштабах забудьте про классическую БД.

Comments

[k2m30]

очень содержательный ответ. ага.

[evnuh]

k2m30: правильный ответ вам уже дали - любая бд + шардирование

Answer 5

[Виталий Пухов]

Во первых нужно определиться с тем Что именно в этой куче нужно искать, то есть от чего отплясывать, одно дело если Для Данного IP найти все destination URL, совсем другое найти все IP которые заходили на данный destination URL. Архитектура хранения в обоих случаях должна быть разной. В любом случае задачи подобных масштабов решают профессионалы с соответсвующей квалификацией. "По рекомендации на тостере" подобные вещи не делаются, в лучшем случае самопал будет адски тормозить и делать "поиск" годами, в худшем в определенный момент потеряете данные.

Answer 6

[Philipp]

Можете почитать сами kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis
Я рекомендовал бы смотреть в сторону Hadoop детишек вроде HBase или Cassandra.
Но и MongoDB вполне справится.