Как организовать хранение котировок валют в БД?

Question

[stanik]

Всем привет! Сейчас стоит задача каждую секунду собирать данные о котировках определенной валюты (пусть будет биткоин). На основе этих данных нужно будет строить графики изменения за последний час/сутки/неделю/месяц и т.д.

Как хранить полученные данные? На данный момент я вижу таблицу с полями datetime для метки времени и rate для значения. Вопрос в том, потянет ли MySQL такую нагрузку, если таких валют будет, например 1000 штук? То есть каждую секунду будет добавляться по тысяче новых записей. Или для таких целей существуют более специфические/рациональные решения? Если да, то пните, пожалуйста в какую сторону копать. Спасибо!

Answer 1

[Melkij]

https://en.wikipedia.org/wiki/Time_series_database

Писать 1000 строк в секунду mysql может. Читать месячный график (2,5млн точек для одной только котировки) может быть весьма накладно

Answer 2

[Dimonchik]

см.

Answer 3

[alex-1917]

Записывай дельту, если дельта равна нулю ,то вообще не пиши, я так сэкономил на занимаемом под БД 30% места и соответственно требуемой скорости обработки, при выводе просто чуть посложнее запрос!

Ну а если касаемо твоих параметров, которые = 1000:
Очередная проблема преждевременной оптимизации)))
Не будет у тебя 1000 валют!
И не будет у тебя по 1000 обновлений в секунду!
Твои параметры похожи на средней руки типичную среднекорейскую биржу, коих под две сотни существует, но там валют под 70 не больше и обороты под лярд в месяц, сколько в секунду хз, у тебя точно такой же проект?? и ты спрашиваешь ЗДЕСЬ??)))!

Comments

[ololo pishpish]

Достаю ведерко и попкорн и присаживаюсь тут. Подожду пока к нему придет новое озарение про то что котировки не удобно в даблах хранить.

[alex-1917]

ololo pishpish, в баню бы тебя, клоунесса!!!

[ololo pishpish]

alex-1917, >/dev/null

[alex-1917]

ololo pishpish, формат цэ тебе)))

[ololo pishpish]

alex-1917, -bash: format: command not found

[alex-1917]

ololo pishpish, неа, непрокатило! у меня тонкий клиент)))

Answer 4

[Everything_is_not_so_bad]

Round Robin Database: RRDtool.
В них эффективно хранится агрегация метрик по времени.