Данные постоянно растут. Как быть?

Question

[Dave]

Разработал CRM систему и успешно внедрил в эксплуатацию. Обьём данных стал постоянно нарастать. Сервер VPS пока один.В администрировании не силен, приходится сейчас изучать и вникать на ходу.

В связи с этим есть вопросы:

- Как рассчитать предельную допустимую нагрузку на сервер?
Понятное дело что выдерживамая нагрузка зависит от сервера и настроек ПО. Но может есть общепринятая формула?

- Данные постоянно нарастают. Скоро закончится место на харде сервера.
Что изучить чтобы разобратся как распределять данные между множеством серверов и хардов?

Comments

[res2001]

Может укажете все таки, какую базу данных используете?

[Dave]

res2001: MySQL

[Philipp]

https://ruhighload.com/post/%D0%A8%D0%B0%D1%80%D0%...

[Dave]

Philipp: А что насчет файлов (фотографии и документы)?

[Philipp]

Dave: в больших проектах для них применяют так называемое объектное хранилище. Оно представляет собой некую абстракцию над файловой системой и сервис, который отдает эти файлы наружу. Есть несколько разных вариантов, таких как AWS S3, Riak-S2 или тот же GridFS.

[d'Ivan]

Быстро растут данные в СУБД или из-за загружаемых файлов? Каков темп прироста в день (грубо)?

[d'Ivan]

Philipp:

Шардинг и репликация

Без шардинга можно обойтись на первых порах. Кроме того, ИМХО, в CRM не должен быть дикий прирост данных. А с облачными сервисами (SaaS) можно вообще обойтись без системного администрирования.

Answer 1

[Vladimir Zhurkin]

- Как рассчитать предельную допустимую нагрузку на сервер?
Понятное дело что выдерживамая нагрузка зависит от сервера и настроек ПО. Но может есть общепринятая формула?

Увы, такой формулы нет. Приходится все всегда примерно на глаз и сходя из опыта если он есть.
Всегда найдется причина, что не хватит мощности у сервера/серверов.

- Данные постоянно нарастают. Скоро закончится место на харде сервера.
Что изучить чтобы разобратся как распределять данные между множеством серверов и хардов?

Тут в общем нет четкого ответа, опять же все исходя из того как вы пишите свою CRM и ее возможности.
Самое простой пойти на вертикальное масштабирование. Те тупо увеличиваем мощности железо, ставим новые HDD, собираем RAID итд. Это самый простой способ.

Теперь о сложных. Насколько я понял с БД проблем нет, на худой конец ее можно вполне перекинуть на отдельную машину, что бы не замарачиватся с кластеризацией БД.
Теперь перейдем к файлам. На текущий момент можно использовать распределенное ФС такие как ceph и glusterfs,ocfs2 итд. Можно вполне спокойно добавлять пулы машин, к сожалению я не готов сейчас сказать, готовая ли у них именно CEPH FS для использования в продакшене. Можно использовать, что-то типа Hdfs из hadoop, но тогда надо будет тянуть весь hadoop,mapreduse итд итд. В общем это просто пример, пусть и плохой.
Можно хранить как блобы , используя eblob (делают русские люди) reverbrain.com/eblob

В общем вариантов много, как пойти зависит только от вас.

Answer 2

[sim3x]

Как рассчитать предельную допустимую нагрузку на сервер?

Нагрузочное тестирование

Данные постоянно нарастают. Скоро закончится место на харде сервера.

Volume testing

Что изучить чтобы разобратся как распределять данные между множеством серверов и хардов?

Отправляем клиентов на разные сервера

Answer 3

[Пума Тайланд]

Если текущих ресурсов в привык то для начала можно считать текущих пользователей равным текущим ресурсам, если нагрузка растет у вас арифметически то просто юзеров в два раза больше то и ресурсов надо в два раза больше

Answer 4

[d'Ivan]

Загружаемые файлы можно хранить на внешнем сервере. Это может быть Amazon S3 или S3-совместимое хранилище. Благо есть мильон компонентов для работы с S3 для разных ЯП.

Кроме того, возможно, структуру БД можно улучшить. Без подробностей схемы ничего конкретного предложить не смогу.