Как посчитать объем записываемых данных на сервер?

Question

[Александр]

Появилась необходимость заменить на сервере БД HDD на SSD. Для начала встрял на такой банальной задачке, как посчитать текущий объем записываемых данных?
В идеале конечно получить бы программку, которая посчитала бы за недельку сколько данных пишется на диски, из этих данных подбирать SSD.
Сервер HP DL 360G6, контроллер HP Smart Array P800 Controller

Answer 1

[Макс]

может попробовать оценить объем транзакт-лога за период?

Comments

[Александр]

Увы отключены. Хотя идея очень хорошая!

[Макс]

Александр: ну мы тут с коллегами посчитали на пальцах =) - получается, что при потоке записи до 0,5 Тб в день на 3 года хватит железно.

[Александр]

Получается самый дешевый десктопный диск проживет у меня довольно долго, забавно, не интересовался темой и думал они хлипкие.

Answer 2

[Dimonchik]

df -h в крон на каждые 15 минут

Comments

[CherryPah]

А если данные циклично перезаписываются?
Если я щас например буду кронить статистику занятого места (кронить глупо, заббиксом и так видно) то я получу прирост около 500гб/сутки, хотя фактически обьем записанной на хдд информации в 10 раз больше

[Dimonchik]

проще в /dev/null сразу, тогда места на любом ssd от 60гб под что угодно на сколько угодно времени хватит

Answer 3

[Пума Тайланд]

ну посмотрите занятое место сейчас и через неделю

Comments

[Александр]

А перезапись? :)

[Пума Тайланд]

Александр: а какая разница сколько вы перезапишите при выборе дисков?

[Макс]

Пума Тайланд: для SSD - очень даже критичная. деградацию SSD никто не отменял

[Александр]

Пума Тайланд: Мне нужно понять сколько на данный момент пишется и перезаписывается данных, из этого подобрать оптимальные, по критериям цена/время жизни при текущих условиях жизни, SSD диски.

[Пума Тайланд]

Макс: а что какие топоявились цельнометалицеские ссд, вроде все современные ссд примерно одинаково деградируют, сказать что один деградирует в два раза или в четыре раза быстрее чем другой

[Пума Тайланд]

Александр: цена мне кажется почти полностью зависит от обьема.

[Макс]

Пума Тайланд: сейчас у ТС обычный HDD. Он хочет перейти на SSD. Скорость деградации, соглашусь, приблизительно одинакова - но вот время жизни, к примеру будет зависить от объема(при тех-же объемах записи бОлший диск помрет позже). Ну и прогнозировать время смерти диска тоже наверное неплохо.

[Пума Тайланд]

Макс: время смерти диска в целом если у вас их не 100 штук вещь не предсказуемая на уровне 50% может завтра помрет или не помрет.
Статистика для одного двух дисков вещь не применимая.
Актуально покупать диски по 500гб, террабайтники стоят очень дорого.

[Макс]

Пума Тайланд: ну здрасьте. пример на вскидку. Имеем поток данных в 500 Мб/день. TBW для 240Гб Кингстон Fury равен 641Тб. логично предположит, что через 1280 дней (АКА 3,5 года) диск помрет с около 100% вероятностью. Раньше - легко. Позже - маловероятно.

[Макс]

Пума Тайланд: сорри, вместо Мб читать Гб

[Пума Тайланд]

Макс: в разрезе трех и больше лет я даже не знаю, чаще всего диски под нагрузкой за такое время умирают и просто меняются на новый без проблем.

[Макс]

Пума Тайланд: про 3 года - согласен. только теперь мы эти 3 года взяли не с потолка, а ЗНАЕМ, что при объеме ежедневной записи менее чем в 0,5Тб диск не умрет от естественной деградации,

[Пума Тайланд]

Макс: а какой у вас вообще объём БД?

[АртемЪ]

Макс:

Имеем поток данных в 500 Мб/день.

Вы не ошиблись в буковках?
500мб это 0,5Гб, так что за три года у вас будет 614Гб. Может вы хотели сказать про 500Гб в день?
Тогда тоже непонятно.
0,5Тб в день это серьезная нагрузка - какая база данных даст такой поток записи? Это почти на грани реальности.

[Макс]

Пума Тайланд: так не я выбираю. У меня баз много. есть скромненькие, на 700Гб. Есть на несколько Тб. Хозяйство немаленькое.

[Макс]

АртемЪ: конечно ошибся - и сразу поправился. редактировать комменты система не дает =(. А что до 500 Гб в день - ну, к примеру, нормальный SIEM столько вполне может сгенерить.

[Александр]

Пума Тайланд: БД несколько, 20-80Гб, но это не показатель, за день можно перезаписать в БД пару мегабайт, а можно перелопатить всю базу по несколько раз, это 1С. Хотелось бы в голове получить некую картину, во сколько обойдется прирост производительности и как часто диски надо будет менять. Одно дело если в моих условиях диск деградирует за пол года и совсем другое если за 3 года. Также цифры позволять подобрать оптимальный RAID.

[Александр]

Пума Тайланд: Насчет цены: Kingston SSDNow V300 480 Гб 0.256 петабайт - 13000 руб, Intel DC S3710 Series 400 Гб 8.3 петабайта - 40000

[АртемЪ]

Макс: Вы вероятно шутите.
Давайте посчитаем. 500Гб в день запись. Для примера вы привели диск 240Гб Кингстон Fury.
На такой диск можно положить базу максимум 150гб, больше не стоит иначе места свободного мало будет.
А теперь подумайте - четыре раза полностью перезаписать базу за сутки? Полностью стереть старые данные и записать новые? И так четыре раза? Это какой же SIEM так делает?

Далее - посчитайте скорость записи. Чтобы столько записать вам нужно непрерывно в течении суток писать со скоростью 5Мб/с. Без перекуров, и остановок.
БД обччно работает как на запись так и на чтение. А у вас получается только запись?
5МБ/с это очень большая скорость для работы с базами данных. Там же не линейная запись и чтения, а случайная.

Т.е вы назвали практически нереальный сценарий.
Для хайлоада такие цифры вполне реальны, но там несколько другие диски, и другое железо.

[Макс]

АртемЪ: А что такого сверхестественного в 5Мб/с? Возьмите поток в 1000 EPS - и получите всего 5 Кб на событие. знаете, сколько занимает 1 "сырое" событие 4624 - Logon? Попробуйте выгрузить - не поверите, больше 60К(хотя козалось бы, всего то кто когда куда с каким результатом - байт 200 за глаза).
однако я соглашусь с Вами, что для обычной БД поток в 0,5Тб в день выглядит крайне маловероятным. Ну так и вопрос у автора был - как оценить ресурс. Оценили. В обозримом будущем (на 3-5 лет) совершенно обычного SSD вполне хватит. От износа не помрет.

[АртемЪ]

Макс: Да это понятно.
Упереться в ограничение по циклам записи в условиях домашнего использования или небольшого сервера - практически нереально.
А в хайлоаде, где такие объемы возможны - железо другое.

[Пума Тайланд]

АртемЪ: да глупости первые годы ссд умирали за месяцы у меня, сейчас живут годами даже в бд сбольшой нагрузкой
лююбой торрент убивает лучше всего ссд диски + файл подкачки винды

[Saboteur]

Пума Тайланд: Как торрент ssd убивает, если один раз записать и много раз отдать?
Торрент, в отличие от БД даже фильм не перезаписывает ;)

[Пума Тайланд]

Сергей: не знаю точно но он отлично убивал первые ссдшки за несколько месяцев использования.

[Saboteur]

Пума Тайланд: первые SSD-шки IMHO умирали сами, просто от испуга, что их используют ;)

[АртемЪ]

Пума Тайланд: Ну первые годы из за чего дохли SSD? Из за циклов перезаписи? Или все таки из за глюков прошивки?
Любой SSD это сложное устройство которое может сломаться в любой момент. И ломаются, как собственно и HDD.
Но вот чтобы по ресурсам записи ушатать - это практически нереально.

Насчет торрентов и файла подкачки категорически не согласен.
Файл подкачки это очень небольшие объемы записи, и частые чтения - на ресурс практически не влияет.

Торренты - что там такого что убивает диск?
Ну скачали вы торрент - записали определенный объем. Дальше идет раздача - исключительно чтение.
У торрентов большой объем? Так и диск у вас не резиновый?
Вы что же качаете под завязку, до исчерпания пространства, потом удаляете, и заново качаете? И так каждый день? - тогда вполне вероятно что ушатаете. Но кто же так делает? Какой практический смысл?