Как рассчитать вычислительную мощность (нагрузку) на сервер хранения данных?

Question

[Вадим Андреевич]

Здравствуйте, постараюсь без текстовой воды объяснить суть моего вопроса.

И так, стоит цель спроектировать облачный сервер.
Серверная стойка будет выглядеть по принципу "аля - бутерброд"

↓СХЕМА↓
---------------------------------------------------------------------------------------------------------
Веб сервер (подключается к:Swith#1)
Вычислительный сервер → Swith#1→ СХД → Swith#2 → Полка с дисками #1;Полка с дисками #2;Полка с дисками #3; и.тд
---------------------------------------------------------------------------------------------------------

Вопрос в том, как рассчитать вычислительную мощность СХД и знать сколько одна может выдержать Полок с дисками.
Излагаю свой вопрос на простом человеческом языке, что бы не было путаности ответ прошу тоже изложить на простом человеческом языке.

Answer 1

[Wexter]

Нагрузка нагрузке рознь, можно отдавать большие файлы (>1гб) на гигабите с 1-2 дисков, а можно отдавать несколько сотен мелких (до 10мб), только для этого уже потребуется не 2-3 диска.
Погуглите что такое IOPS, что такое линейная скорость чтения/записи, что такое рандомное чтение/запись и как оно влияет на нагрузку на диск.
Погуглите про варианты объединения (RAID, ZFS, LVM и т.д.), и как они влияют на производительность.
Погуглите чем отличаются SATA/SAS 7.2k/10k/10.5k/15k диски.
Погуглите почему SSD может быть быстрее массива из нескольких 15k SAS.
А после этого снимайте метрики с приложения и считайте сколько и чего вам нужно.
Универсальной СХД не бывает (точнее бывает, но стоит как пара боингов)

Answer 2

[Армянское Радио]

Вопросы конструирования СХД обсуждаются на профессиональном языке, при наличии прописанного ТЗ.

Comments

[Вадим Андреевич]

Я не собираюсь конструировать СХД. Я собираюсь проектировать и воплощать в реальность облачный сервис на основе построения СХД+Полок

[Армянское Радио]

Вадим Прокопов, для предметного разговора нужно ТЗ на сервис, в котором прописаны требования по нагрузке, резервированию и так далее

[Вадим Андреевич]

ТЗ - Облачный сервис, хранение и обмен файлами.
Пользователю зарегистрированному в системе, будет выдаваться "N" объёма ГБ. (N - потому что, не решено сколько будет выдаваться. предположительно от 10 до 20ГБ).

Возможности: Загрузки файлов; Хранения файлов; Скачивания файлов; Возможность поделиться в сети (ссылкой); Но этим и другим будут заниматься вычислительные сервера.

СХД в свою же очередь будут накапливать данный и распределять их по полкам. Вот и выводится сам вопрос, как рассчитать мощность СХД по отношению к количествам Полок с дисками?

[АртемЪ]

Вадим Прокопов,

вопрос, как рассчитать мощность СХД по отношению к количествам Полок с дисками?

Элементарно!
Подсчитать нагрузку от одного пользователя и умножить на количество пользователей которые будут работать одновременно.
Если есть какая-то специфика - подкорректировать расчеты в соответствии с этой спецификой.

[Вадим Андреевич]

АртемЪ, Грубо говоря, рассчитывать нужно исходя из статистики. Скажем так, заочно без оборудование не рассчитать возможную нагрузку.

Answer 3

[ky0]

Как раз такие вопросы более уместно излагать не на церковно-славянском, а на профессиональном, причём с указанием максимального количества деталей. Иначе "без нормального ТЗ - результат ХЗ".

Comments

[Вадим Андреевич]

Краткий ТЗ указан в ответе к комментарию от пользователя "Армянское Радио @gbg"

Answer 4

[Пума Тайланд]

Если ссд то дохера и будет упираться в коллектив между свичами и схд так что можно особо не морочиться

Comments

[Вадим Андреевич]

Вы не поняли суть моего вопроса. Облако я делаю публичным, не для какого-то офиса.

[Пума Тайланд]

Вадим Прокопов, ну тогда опытным путем просто.

Answer 5

[АртемЪ]

Вопрос в том, как рассчитать вычислительную мощность СХД и знать сколько одна может выдержать Полок с дисками.

Для расчета нужно четкое описание задачи, какая нагрузка будет какими данными, какой софт.
Без этих данных расчет невозможен.
Только гадать на кофейной гуще - это уже к профессиональным гадалкам, поищите в ближайшем таборе.

Comments

[Вадим Андреевич]

Ну понятно. С софтом более менее, а вот с файлами... Что пользователе будут заливать то и будет храниться.
Начиная от фото с котиками и видео с порно содержанием и заканчивая файлами с 1С бухгалтерией. в общем ВСЁ!

[АртемЪ]

Вадим Прокопов, Содержание файла и формат файла для этих нужд вообще не интересны, интересен размер файла.
Судя по всему у вас будут хранится средние и большие файлы.

Есть очень большая разница в раздаче допустим файлов размером 2килобайта, и размером 100мегабайт.
Совершенно разные типы чтения.

Так же важно сколько одновременно будет запросов на чтение и запись.
Вот к примеру - вы будете читать с обычного среднестатистического HDD файл размером 600мегбайт - скорость будет около 120мегабайт в секунду. За пять сеукнд прочитаете.
Или к примеру вы будете читать с этого же HDD файлы размером 4килобайта, общий объем которых 600мегабайт - скорость будет 0,6-,9мегабит в секунду. примерно в 150раз меньше чем при линейном чтении, и прочитаете вы эти 600мегабайт не за пять секунд, а за 10-15минут

[Вадим Андреевич]

АртемЪ, в общем, подсчитать за ранее ни как не получится. Только методом практики, когда уже будет сам сервер, и уже смотреть нагрузку и статистику. Я правильно понял?

[АртемЪ]

Вадим Прокопов,

Только методом практики, когда уже будет сам сервер, и уже смотреть нагрузку и статистику.

Если точно подсчитать - да.
Обычно считают если есть опыт работы данной системы на другом железе.
Просто выбирать сервер нужно исходя из типа нагрузки - сначала точно описать какая нагрузка будет на сервер, после чего можно думать какой должен быть сервер, какие к нему требования предъявлять.

Либо у вас уже есть работающая система и вы четко можете описать и классифицировать нагрузку, либо вы ничего не знаете, но тогда у вас и объемов нет - смотреть и масштабировать придется прямо по ходу.