Вопросы по быстродействию + Какую базу лучше всего использовать?

Question

[DadFild]

Делаю систему статистики типа яндекс метрики на PHP в дополнение к тизерной сети.
Где лучше всего хранить статистику пользователей? В какой базе?
Выдержит ли MySQl обьемы в несколько сотен миллионов записей?
Как лучше всего снизить затраты на сервер и получить максимальную производительность?

Технологии которые я планирую использовать:
PHP, Mysql, NodeJs

Так же мне интересно как определить сколько одновременно запросов обращается к php файлу и домену стандартными средствами linux?

Answer 1

[Сергей Протько]

все зависит от того что вы с этими данными делать будете. Если просто хранить - то выдержит конечно. Если делать сложные выборки - то зависит от нагрузки и количества запросов а так же расставили вы индексы или нет ну и все такое. Ну и для такой выборки памяти под индексы надо прилично и тюнить настройки mysql.

Если вас интересует как ускорить запись - можно сначала загонять все в буфер (redis например) и потом пачками заносить все в базу.

Если интересует как ускорить чтение - кеширование, индексы, агрегация штуками типа elasticsearch. Но опять же только если у вас есть проблемы с производительностью. Не занимайтесь преждевременной оптимизацией. Сначала напишите нагрузочные тесты и посмотрите насколько все плохо и надо ли что-то делать.

Comments

[Александр Маджугин]

о... сначала надо читать, потом отвечать. Плюсую.

Answer 2

[Александр Маджугин]

Подумайте - не сможете ли вы обойтись NoSQL. Если нет - PostgreSQL + NoSQL хранилище. Я бы взял Redis.

Answer 3

[Viktor Maksimov]

Такой сервис подразумевает накопление огромного количества данных. MySQL я бы брать не стал, дабы не рыть себе яму в начале пути. Пожалуй присоединюсь к ораторам выше и предложу связку PostgreSQL для оперативной аналитики и NOSQL или HDFS для долговременной.

Answer 4

[Александр Василенко]

PostgreSQL, думаю, самое валидное решение.

Answer 5

[beduin01]

https://www.arangodb.com/2015/10/benchmark-postgre...

Answer 6

[Qwk31]

Я бы рассматривал вариант Elasticsearch. :) https://www.elastic.co/products/elasticsearch

Answer 7

[Александр]

мы используем Кассандру для хранения статистики
ее достоинства - хорошо масштабируема, отказоустойчива
проста в использовании именно в целях статистики
быстра на запись, что очень важно для разных партнерских и мизерных программ
недостатки - жрет много места (больше чем прогнозировали)
нагрузка на сеть более 1,5М в сутки

если у вас нагрузка в разы меньше, то достаточно и РСУБД (мускул, посгрес), но если соизмерима, то рано или поздно вы упретесь в проблему масштабирования