Данные постоянно растут. Как быть?

Разработал CRM систему и успешно внедрил в эксплуатацию. Обьём данных стал постоянно нарастать. Сервер VPS пока один.В администрировании не силен, приходится сейчас изучать и вникать на ходу.

В связи с этим есть вопросы:

- Как рассчитать предельную допустимую нагрузку на сервер?
Понятное дело что выдерживамая нагрузка зависит от сервера и настроек ПО. Но может есть общепринятая формула?

- Данные постоянно нарастают. Скоро закончится место на харде сервера.
Что изучить чтобы разобратся как распределять данные между множеством серверов и хардов?
  • Вопрос задан
  • 1777 просмотров
Решения вопроса 1
icCE
@icCE
youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
- Как рассчитать предельную допустимую нагрузку на сервер?
Понятное дело что выдерживамая нагрузка зависит от сервера и настроек ПО. Но может есть общепринятая формула?


Увы, такой формулы нет. Приходится все всегда примерно на глаз и сходя из опыта если он есть.
Всегда найдется причина, что не хватит мощности у сервера/серверов.

- Данные постоянно нарастают. Скоро закончится место на харде сервера.
Что изучить чтобы разобратся как распределять данные между множеством серверов и хардов?


Тут в общем нет четкого ответа, опять же все исходя из того как вы пишите свою CRM и ее возможности.
Самое простой пойти на вертикальное масштабирование. Те тупо увеличиваем мощности железо, ставим новые HDD, собираем RAID итд. Это самый простой способ.

Теперь о сложных. Насколько я понял с БД проблем нет, на худой конец ее можно вполне перекинуть на отдельную машину, что бы не замарачиватся с кластеризацией БД.
Теперь перейдем к файлам. На текущий момент можно использовать распределенное ФС такие как ceph и glusterfs,ocfs2 итд. Можно вполне спокойно добавлять пулы машин, к сожалению я не готов сейчас сказать, готовая ли у них именно CEPH FS для использования в продакшене. Можно использовать, что-то типа Hdfs из hadoop, но тогда надо будет тянуть весь hadoop,mapreduse итд итд. В общем это просто пример, пусть и плохой.
Можно хранить как блобы , используя eblob (делают русские люди) reverbrain.com/eblob

В общем вариантов много, как пойти зависит только от вас.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 3
sim3x
@sim3x
Как рассчитать предельную допустимую нагрузку на сервер?
Нагрузочное тестирование

Данные постоянно нарастают. Скоро закончится место на харде сервера.
Volume testing

Что изучить чтобы разобратся как распределять данные между множеством серверов и хардов?
Отправляем клиентов на разные сервера
Ответ написан
Комментировать
opium
@opium
Просто люблю качественно работать
Если текущих ресурсов в привык то для начала можно считать текущих пользователей равным текущим ресурсам, если нагрузка растет у вас арифметически то просто юзеров в два раза больше то и ресурсов надо в два раза больше
Ответ написан
Комментировать
Загружаемые файлы можно хранить на внешнем сервере. Это может быть Amazon S3 или S3-совместимое хранилище. Благо есть мильон компонентов для работы с S3 для разных ЯП.

Кроме того, возможно, структуру БД можно улучшить. Без подробностей схемы ничего конкретного предложить не смогу.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы