Как хранить большое количество сообщений на сервере?

Question

[Андрей Галко]

Хей!

Недавно задался вопросом, как тот же самый ВК хранит огромное количество сообщений и лайков? Какие средства есть для этого? Я знаю Redis. Есть ещё что-нибудь?

P.S. Поддержка не хочет выдавать секреты за шоколадку :(

Answer 1

[Пума Тайланд]

В инете в паблик доступе есть доклад про то как устроен примерно вк
есть просто описание инфраструктуры вк
чем они вам не угодили?
редис конечно это вы так тонко пошутили?

Answer 2

[Yuri Shikanov]

Редис совсем не годится для этой задачи. Он больше подходит для хранения "горячих данных", т.к. весь набор данных он хранит в ОП (с возможностью сохранения снимка на диске). Для большого объема редко используемых данных подойдет что-то типа PostgreSQL или множество других персистентых хранилищ данных.

Answer 3

[Alex Pts]

Любая БД у которой хорошая скорость записи данных. Тут от архитектуры скорее зависит, чем от конкретного стораджа весь процесс.

Comments

[Андрей Галко]

Можно пример?

[Alex Pts]

Многие базы можно настроить на хорошую запись. Append подход записи данных, когда данные линейно записываются на винт. При этом не происходит чтений, а обновление или удаление представлены в виде новой записи. Как пример - принцип работы sstable у касандры (www.mezhov.com/2013/09/sstable-lsm-tree.html). Читать данные со слейвов, по возможности шардирование данных сделать.

Answer 4

[Оптимус Пьян]

Погуглите как устроен Disqus - 18 тыс. запросов в секунду, постгри и другие штуки.