Как узнать, сколько гигабайт было записано на HDD диск?

Question

[Анастасия]

Есть сервер (обычный компьютер), в котором установлен HDD диск. Из-за нагрузки он медленно работает. Я подумала, что можно поставить туда SSD диск, но у них, как вы знаете, есть TBW, поэтому мне нужно понимать, стоит ли это делать, так как не хочется каждый год покупать новый SSD диск.
Хочется рассчитывать лет на 5 работы. Сервер, который есть, работает уже 3 года. Как можно узнать, сколько всего было записей за это время? В SSD тот же crystaldiskinfo об этом пишет и сразу понятно, сколько осталось.

Comments

[АртемЪ]

Что за сервер?

Answer 1

[Zettabyte]

Есть сервер ... Я подумала, что можно поставить туда SSD диск ... не хочется каждый год покупать новый SSD диск. Хочется рассчитывать лет на 5 работы

Купите серверный ССД (enterprise). Будет стоить дороже, но не дороже, чем ССД пользовательского уровня + стоимость восстановления данных с него через несколько месяцев или год. И почти наверняка не дороже, чем 5-7 ССД домашнего уровня под замену.

Как можно узнать, сколько всего было записей за это время?

Запустите вот эту утилиту и оставьте её работающей на месяц-два-три: https://portableapps.com/apps/utilities/hwinfo-portable
Она показывает общий объём прочитанных / записанных данных, потом сможете экстраполировать на больший промежуток времени.

В SSD ... об этом пишет и сразу понятно, сколько осталось

СМАРТ для SSD именно потому и показывает количество циклов записи, что их количество там либо конечно, либо вообще невелико (у современных). У "классических" дисков такой проблемы нет, поэтому нет и такого параметра.

Кстати, если у вас жёсткий диск SCSI или SAS, посмотрите его "SMART" в Р.тестере. У САС и СКАЗИ свои атрибуты параметров самодиагностики, Р.тестер умеет на их основе отображать информацию о состоянии диска в привычном для пользователей виде.
В зависимости от производителя и модели, там может быть нужная вам информация.

Comments

[Анастасия]

стоит обычный диск toshiba на 7200 оборотов.
Вообще мы думали поставить туда m2 диск на 150тб TBW, который стоит в районе 3500 рублей, поэтому ставить туда действительно что-то серверное мы не думали, да и дорого это.
Скажите пожалуйста, а как настроить HWiNFO, чтобы потом можно было через пару месяцев снять результаты?

[Анастасия]

Дополню, что сервер на ночь выключается. Это в небольшом магазине компьютер, в котором хранится база данных.

[antonwx]

Анастасия, под такой сервер самый обычный, самый потребительский ссд более чем сгодится и он загнётся от скачка напряжения или тупо устареет раньше, чем вы успеете выбрать лимиты по записи

[Анастасия]

antonwx, ну вот к примеру, у меня дома на компьютере SSD Samsung EVO 860 и там 150 TBW, но я успела "записать" в него уже 26 тб. Диску 2 года, но извините, я не сервер, который постоянно что-то записывает, поэтому у меня и есть переживания.

[АртемЪ]

Zettabyte,

Купите серверный ССД (enterprise)

Совет в принципе неплохой, однако в плане ресурсов по циклированию он ничем не отличается.

[АртемЪ]

Анастасия,

Дополню, что сервер на ночь выключается. Это в небольшом магазине компьютер, в котором хранится база данных

В обычном магазине? База данных?

По сути это обычный компьютер да еще и не сильно нагруженный.
Просто берете любой SSD и ставите. Про ресурс забудьте вообще.

Вспоминать про ресурс SSD стоит когда у вас стоит нагруженный сервер на который непрерывно 24часа в сутки пишутся огромные объемы информации..

стоит обычный диск toshiba на 7200 оборотов.

Не удивлюсь если на нем еще и система стоит.

[Анастасия]

АртемЪ,

По сути это обычный компьютер да еще и не сильно нагруженный.

ну... включается он минут 5-6. Пока Oracle заведётся, пока то, пока сё. Это очень сильно напрягает.

[АртемЪ]

Анастасия, Ну так диск медленный.
Поменяйте на SSD - будет шустрее запускаться.
Хотя скорость может еще в оперативку упираться - проследите чтобы ее хватало.

[Zettabyte]

Анастасия,

мы думали поставить туда m2 диск на 150тб TBW, который стоит в районе 3500 рублей

Можете ставить и такой, но тогда главное - чтобы вы были полностью готовы к потере всех данных с такого SSD. Например, имели автоматические бэкапы, которые делаются достаточно часто (для вас) и регулярно проверяются на восстанавливаемость.

Без этого хранить единственную копию критичной для бизнеса базы на современном потребительском ССД - это очень, ОЧЕНЬ плохая идея. Ещё и М2, которые любят греться.

ставить туда действительно что-то серверное мы не думали, да и дорого это

Можете подумать над покупкой б/у серверного SSD. Продавцы подобного железа нередко выкладывают скриншоты SMART, по которым можно оценить износ.

как настроить HWiNFO, чтобы потом можно было через пару месяцев снять результаты?

Так вы программу-то скачайте. Я специально дал ссылку на portable, по сути, SFX-архив, даже инсталлировать не нужно.
Запустите её с галкой "Sensors only", там будет таблица с тьмой параметров, среди них в разделе с диском будут "Write total" и "Read total".
Кстати, программа что-то показывает даже если не запускать её при старте компьютера. Возможно, подтягивает откуда-то значения, но тут надо смотреть доки.

сервер на ночь выключается

Тогда, видимо, только скидывать значения в какой-нибудь Excel по вечерам перед выключением. Я полагал, что сервер работает 24/7.

у меня дома на компьютере SSD Samsung EVO 860 и там 150 TBW, но я успела "записать" в него уже 26 тб

Правильно делаете, что обращаете внимание. Как раз EVO (цифры не помню) некоторое время назад люди начали ставить в RAID10 на полноценных серверах, а потом покупали их коробками на замену.

Кстати, у многих производителей исчерпание TBW считается негарантийным случаем, т.е. если диск выйдет из строя, то не поменяют. Даже если срок гарантии в месяцах не истёк - там условие "или".

[Zettabyte]

АртемЪ,

в плане ресурсов по циклированию он ничем не отличается

Что вы имеете в виду?

Серверный SSD можно купить на MLC. Over-provisioning (т.е. реальный объём чипов памяти) у него будет не в пример больше. Будут технологии наподобие Micron'овской RAIN, конденсаторы на плате, и т.д.

В результате и надёжность и endurance будут намного выше.

[Анастасия]

Правильно делаете, что обращаете внимание. Как раз EVO (цифры не помню) некоторое время назад люди начали ставить в RAID10 на полноценных серверах, а потом покупали их коробками на замену.

переведите пожалуйста на человеческий) вы имели ввиду, что они ломаются все?

[АртемЪ]

Zettabyte,

Что вы имеете в виду?

То что серверный это производительность, а не большой ресурс записи.

Серверный SSD можно купить на MLC

Да. А на пользовательских TLC и хуже, поэтому все заявленные скорости достигаются исключительно за счет кэша. Кончился кэш - кончилась скорость, начались тормоза. Под нагрузкой он загнется в плане производительности. Ему нужен перерыв чтобы освободить кэш.
А вот к ресурсу по записи это отношения не имеет.

Over-provisioning можно выставить на любом пользовательском - это не проблема. А вот производительный процессор позволяющий собирать мусор одновременно с обработкой запросов от пользователя - такого на обычном диске не увидишь.
Конденсаторы на плате опять же к ресурсу никакого отношения - они просто защищают от утери данных в случае сбоя питания.
С RAIN не сталкивался но насколько понимаю это что-то вроде хитрого массива c избыточностью реализованного в SSD.

В результате и надёжность и endurance будут намного выше.

Учитывая описаннюу задачу, а именно - обычный компьютер стоящий в магазине, за которым работает пользователь и где крутится обычный HDD, на котором и система и БД все это в общем то не нужно.

[АртемЪ]

Zettabyte,

Можете ставить и такой, но тогда главное - чтобы вы были полностью готовы к потере всех данных с такого SSD.

К этому надо быть готовым ставя любой диск - неважно HDD или SSD. Энтерпрайз или пользовательский. Диск энтерпрайз класса сам по себе не надежнее пользовательского, но позволяет построить достаточно надежную систему.

А от потери данных защищает бэкап и только он.

Без этого хранить единственную копию критичной для бизнеса базы на современном потребительском ССД - это очень, ОЧЕНЬ плохая идея. Ещё и М2, которые любят греться.

Хранить единственную копию критичной информации это плохая идея.
А вот на каком накопителе ее хранить - совсем без разницы.

Можете подумать над покупкой б/у серверного SSD. Продавцы подобного железа нередко выкладывают скриншоты SMART, по которым можно оценить износ.

При всем уважении, это явно вредный совет.
Дорого, ненужно, не факт что подойдет ну и покупка БУ дисков это в любом случае не стоящая идея. И SMART не панацея.

Как раз EVO (цифры не помню) некоторое время назад люди начали ставить в RAID10 на полноценных серверах, а потом покупали их коробками на замену.

Ну воткнуть EVO в массив это конечно занятное извращение. Но диск то тут при чем? Претензии тут должны быть не к диску, а к тем извращенцам которые из них массив собрали.

[Zettabyte]

Анастасия,

вы имели ввиду, что они ломаются все?

Выходят из строя вообще все ССД :) Вопрос лишь в том, как скоро это произойдёт.

Я имел в виду, что в своё время был очень сильный хайп по поводу сверхнадёжности SSD Samsung. На него повелись в т.ч. и те, кого вроде как надо называть профессионалами.
И жёстко обломались - для серверов, работающих в датацентрах, диски в которых объединены в RAID-массив, ресурса тогдашних Samsung EVO не хватило совсем. Заменять их приходилось массово и регулярно.

В итоге не то, что сэкономить не получилось, вышло даже дороже покупки подходящих для этой задачи дисков.

[Zettabyte]

АртемЪ,

серверный это производительность, а не большой ресурс записи

Это категорически не так.
Настолько не так, что я не совсем понимаю что и как нужно объяснять по данному вопросу.

Как вариант (и чтобы не растекаться мыслью), посмотрите качественные описания энтерпрайз-линеек. В них вы найдёте деление на read-intensive и write-intensive workloads. Или на read-centric и write-centric drives, в зависимости от терминологии.
Предлагаемые для них модели будут разными.

Скорость (серверная скорость) - это будет уже отдельный класс с красивыми названиями наподобие mission-critical. Различные caching storage и IO accelerators. Модели, кстати, тоже будут разными.

Сравните, например, упомянутое Анастасией выше значение TBW со спецификациями Micron M510DC:

Over-provisioning можно выставить на любом пользовательском - это не проблема

Про over-provisioning писал вот тут: Уменьшает ли деление ssd на лог. разделы его срок службы?

А на пользовательских TLC и хуже ... А вот к ресурсу по записи это отношения не имеет

Вы, должно быть, так шутите?
Как можно считать одинаковым ресурс, например, eMLC с 20 000 - 30 000 циклов перезаписи, и TLC, у которого заявляют 3 000 - 5 000? Хотя я полагаю, что там вряд ли больше 3 500 даже в самых дорогих дисках на его основе, а 5 000 - это был сверхудачный чип при работе в лабораторных условиях.
Про SLC с его 90 000 - 100 000 даже и говорить вряд ли стоит.

[Zettabyte]

АртемЪ,

К этому надо быть готовым ставя любой диск
А от потери данных защищает бэкап и только он.
Хранить единственную копию критичной информации это плохая идея.

Совершенно верно, согласен полностью.

неважно HDD или SSD. Энтерпрайз или пользовательский. Диск энтерпрайз класса сам по себе не надежнее пользовательского

Это не так. Если нет такого, что "не повезло" (например, коробку с дисками швыряли грузчики), то серверный HDD имеет намного более низкую вероятность выхода из строя, чем современный SSD за три пятьсот.

А вот на каком накопителе ее хранить - совсем без разницы.

Я считаю, что если речь идёт о современном бюджетном ССД, то есть. Если есть хороший жёсткий диск, то с горем пополам можно пользоваться. Однозначно, надеясь на авось, но вероятность того, что "прокатит" (до покупки нового сервера) есть и она неплохая.

А вот если бы я увидел "сервер" на основе бюджетного потребительского ССД (ещё и одного), у меня бы свело челюсть - это натурально по рельсам к обрыву на полной скорости.

не факт что подойдет ну и покупка БУ дисков это в любом случае не стоящая идея. И SMART не панацея

Просто SATA-диск должен подойти, не надо брать разные вендорские варианты. По моему опыту, это будет однозначно лучше покупки нового современного SSD, сделанного на TLC / QLC / V-NAND / 3D-NAND и прочих "инновациях".

Исключений пока не встречал, хоумлаберы с реддита массово подтверждают.
Единственное, которое могу придумать - это дебил, использовавший сервер в африке, котельной, или поставив его на батарею. Но это уже везение сродни грузчикам, кидающим коробки.

воткнуть EVO в массив это конечно занятное извращение. Но диск то тут при чем? Претензии тут должны быть не к диску, а к тем извращенцам

Хайп был настолько силён, что ослепли даже те, кто обязан быть начеку.
Перспектива хорошо сэкономить опьянила окончательно.

[АртемЪ]

По поводу TBW - никакой разницы.
В данном случае речь идет фактически о системном диске с небольшой нагрузкой.
Поэтому там нет нужды в таком TBW.
Ну посмотрите сами - в вашей табличке для микрона 460террабайт для диска на 120гб это четыре тысячи полных перезаписей.
Если рассчитывать на пять лет, то речь идет о том чтобы ежедневно полностью перезаписывать диск два раза. Это нереальная нагрузка для такой ситуации.

Если идет много записи - просто диск побольше и в циклы не упрешься. В производительность - да, там уже энтерпрайз нужен.

Как можно считать одинаковым ресурс, например, eMLC с 20 000 - 30 000 циклов перезаписи, и TLC, у которого заявляют 3 000 - 5 000?

Да элементарно посчитайте объем дисков при равной цене и удивитесь.

Про over-provisioning

Это любая область доступная диску но недоступная пользователю. Оставили ее на заводе или пользователь ее создал разницы нет.
Смысл заводской только в том что пользователь не сможет ее уменьшить и вывести диск из строя этим.
Потому что она в любом случае нужна. А вообще в рекомендациях производителей большинства энтерпрайз SSD есть рекомендации по увеличению over-provisioning в зависимости от нагрузки.
Особенно это актуально в массиве, там TRIM не работает и при малой over-provisioning перед каждой записью придется проводить удаление.

[АртемЪ]

Zettabyte,

в своё время был очень сильный хайп по поводу сверхнадёжности SSD Samsung

Не помню такого. Скорее наоборот.
Помню лет пять назад был сильный хайп по поводу экспериментов Samsung когда они активно экспериментировали с новыми технологиями и прошивками и регулярно ловили баги.
Но потом все устаканилось теперь у них в этом плане все ок.

Сверхнадежностью самсунг никогда не славился, он всегда славился новаторством в областе SSD - всегда на пике прогресса, все самое новое и хайповое, пусть и не слишком надежное.

И жёстко обломались - для серверов, работающих в датацентрах, диски в которых объединены в RAID-массив, ресурса тогдашних Samsung EVO не хватило совсем

Ну каким альтернативно одаренным нужно быть чтобы Samsung EVO поставить в RAID-массив.

[АртемЪ]

Zettabyte,

то серверный HDD имеет намного более низкую вероятность выхода из строя, чем современный SSD за три пятьсот.

Ну скажем так - в отличии от HDD, твердотелые накопители делает кто угодно, как обычный конструктор, поэтому нарваться на откровенный брак там проще.

Если же сравнивать пользовательские SSD и HDD более менее нормального качества - то там особой разницы в вероятности выхода из строя нет.

Я считаю, что если речь идёт о современном бюджетном ССД, то есть.

А в чем разница? Диск это потенциально ненадежная вещь, при высоких нагрузках фактически расходник.
Поэтому при хранении любой ответственной информации надо понимать что он сломается.
Поэтому нужны бэкапы.
Только и всего.
Если важна бесперебойная работа - тут сложнее, надо серверное железо, на обычном бесперебойную работу не организуешь.

А вот если бы я увидел "сервер" на основе бюджетного потребительского ССД (ещё и одного), у меня бы свело челюсть - это натурально по рельсам к обрыву на полной скорости.

Это почему?
А как вам сервер на флешке? И работают без проблем. И челюсть не сводит.
Сервер - это компьютер обслуживающий запросы других пользователей.
Вот например DHCP сервер у меня вообще на микротике, а там простенькая флеш память. Разве он плохо работает?
Сервера бывают разные, и нагрузки и требования бывают к ним разные.
Для некоторых важна бесперебойная работа, для некоторых неважна.
Поэтому бюджетный потребительский SSD в сервер это в общем нормально.
Но бывают конкретные ситуации когда бюджетный потребительский SSD в сервере неприменим.

[АртемЪ]

Zettabyte,

Хайп был настолько силён, что ослепли даже те, кто обязан быть начеку.
Перспектива хорошо сэкономить опьянила окончательно.

Это не хайп, это скорее полное непонимание того что такое SSD и как он работает.
Первый момент - При установке SSD в рэйд TRIM работать не будет.
В результате диск не получает информации о том что ФС удалила данные и их не нужно хранить.
Как следствие - стандартный сборщик мусора оказывается вообще не эффективен, он не знает что является мусором.
И диск через некоторое время оказывается забит данными на 100%
Единственный способ для диска узнать что данные удалены - это прилетевшая на диск команда записи данных в этот LBA адрес.
Поэтому перед каждой записью диску придется проводить процедуру очистки адреса. А чистит он большими блоками. Для записи каких нибудь пары килобайт ему нужно будет прочитать мегабайт, очистить блок, записать нужные данные которые там хранились, и новые данные которые система отправила на запись.

Спасти в такой ситуации может только большой резерв свободных ячеек которые будут гарантированно чистыми.

Второй момент - в пользовательских SSD слабый процессор и он не может выполнять несколько задач одновременно. Он либо занимается сборкой мусора, либо обслуживает запросы системы.
Одновременно делать то и то он не сможет.
Поэтому даже если оставить приличный запас резервных ячеек диску потребуются перерывы в нагрузке для работы сборщика мусора.
Если это hiload сервер где идет постоянный непрерывный поток записи он не справится.

Третий момент - особенности прошивки. Прошивка бытового SSD не рассчитана на работе в массиве. Как результат непредсказуемое поведение в массиве. Например поведение при сбое чтения.

Четвертый момент Цепь не крепче самого слабого звена. А в рэйде скорость массива ограничивает самый медленный диск. При чтении с чередованием половина данных читается с одного диска, другая половина с другого. Первый диск отдал данные практически мгновенно, а на втором диске в этот момент включился сборщик мусора и время выполнения конкретного запроса в разы подскакивает.
В результате общее время выполнения запроса = времени выполнения запроса медленным диском.
А учитывая что у нас два диска которые попеременно становятся медленными - среднее время выполнения запросов резко увеличивается.

В общем даже при установке SSD энтерпрайз класса в массив нужно учесть кучу нюансов и десять раз подумать надо ли это вообще в конкретном случае.
А уж ставить пользовательские SSD (неважно какой фирмы) в массив это уже за гранью добра и зла.

[Zettabyte]

АртемЪ,

По поводу TBW - никакой разницы.

Не понимаю о чём это. Могу только повторить, что разница в TBW между дисками есть и большая, её легко увидеть, например, на картинке выше.

в вашей табличке для микрона 460террабайт для диска на 120гб это четыре тысячи полных перезаписей.
Если рассчитывать на пять лет, то речь идет о том чтобы ежедневно полностью перезаписывать диск два раза. Это нереальная нагрузка

Это не нереальная нагрузка, а реальная надёжность.
Позволяющая не иметь ощущение того, что сидишь на пороховой бочке.

И Micron M510DC я выбрал специально. Это SSD, который сам производитель позиционирует для read-intensive scenarios (например, web server). Т.е. диск с цифрами в таблице выше - это ССД для чтения.

И это - конкретные цифры, позволяющие чётко оценить то, диск с каким ресурсом сам производитель позиционирует как надёжный.

Да элементарно посчитайте объем дисков при равной цене и удивитесь.

Извините, но т.к. в третий раз, не могу не написать. Очень сложно дискутировать.
О чём это вообще?
Вы сравниваете объём данных, который можно записать на маленький серверный диск, и на большой потребительский? Зачем?

Это любая область доступная диску но недоступная пользователю. Оставили ее на заводе или пользователь ее создал разницы нет.

Не вижу смысла и необходимости спорить, и останусь при своём. Изначально over-provisioning - это область, никак неподконтрольная пользователю.
Лишнее подтверждение этому - то, что как минимум, изначально (не буду изучать изменилось ли это сейчас) изменение объёма диска пользователем называлось отдельным придуманным для этого термином.

[Zettabyte]

АртемЪ, Про бэкапы и единственную копию я уже написал, что полностью с вами согласен.
И в своих ответах здесь я уже не знаю сколько десятков, а то и сотен раз писал то же самое.

А как вам сервер на флешке? И работают без проблем. И челюсть не сводит.

Прекрасно, что работают. В EqualLogic'ах тоже MicroSD вставлена, и ведь работают!
А в своё время и на перфокартах работали, только не совсем понимаю к чему это здесь.

Простите великодушно, но на остальное ответить не смогу - флейм и так съел слишком много времени, а дела ждут. Буду вынужден откланяться.

Answer 2

[АртемЪ]

Как узнать сколько гигобайт было записано на hdd диск?

Никак, такая информация нигде не сохраняется.
Но если вам надо подсчитать - счетчики производительности и утилиты Руссиновича. в вашем распоряжении.
Не сложно замерить сколько данных было записано за день, за неделю. и экстраполировать результат.

Comments

[Анастасия]

можете пожалуйста сказать, какой конкретно программой можно измерить? и если можно инструкцию под неё. и ещё тупой вопрос: на производительности скажется эта программа? Не будет медленнее пк работать?

[АртемЪ]

Анастасия, Измерять в вашем случае точно ничего не нужно.

стоит обычный диск toshiba на 7200 оборотов
сервер на ночь выключается. Это в небольшом магазине компьютер, в котором хранится база данных.

Cтавим обычный SSD который понравится, и вообще забываем что есть такая проблема как ограничение по циклам записи.

Эта проблема актуальна только для нагруженных серверов.
У вас же явно не нагруженный сервер.
За пять лет работы он у вас точно не запишет больше чем сможет.

[Анастасия]

АртемЪ, я лично за 2 года записала 26тб, поэтому переживаю, что такой компьютер может писать больше

[АртемЪ]

Анастасия, Не переживайте.
Под базами 1с диски стоят годами.
Вот например - самсунг уже два с половиной года, 32TB записано, а на нем почти сотня файловых баз 1с с которыми постоянно работают.

Если SSD отдать под SQL лог транзакций - там да нагрузка приличная будет.
Но даже в этой ситуации если учесть что это небольшой магазин - можно не беспокоиться.

[Анастасия]

АртемЪ, лог транзакций есть (если я правильно понимаю это). Вот вы вроде меня успокоили, а теперь снова испугали. Скажите пожалуйста, какой программой я могу проверить? Я на месяц поставлю и посмотрю

[АртемЪ]

Анастасия, Вы же говорили что у вас стоит обычный диск toshiba на 7200 оборотов?
Обычно под лог идет или массив или SSD.

[Анастасия]

АртемЪ, стоит обычный диск. на нём база, на нём система, на нём лог операций (купил-продал). К нему подключается другой компьютер, который стоит на кассе. На кассе проверяется база, проходят операции и отправляются на основной пк.

[АртемЪ]

Поймите простую вещь - если у вас там БД с болшими нагрузками, то диски это расходники и без разницы SSD это или HDD.

Если вы поставите SSD под большую нагрузку, вы скорее всего столкнетесь с тем что он не справляется - обычный пользоватальский диск не способен эффективно работать с большой нагрузкой. И в количество циклов вы не упретесь.

Под болшую нагрузку ставят диски энтерпрайз класса - там процессор пошустрее и резервная облась побольше. В результате он может производить сборку мусора в фоновом режиме параллельно рабочей нагрузке.

[АртемЪ]

Анастасия,

стоит обычный диск. на нём база, на нём система,

Если у вас на этом диске стоит система - ставьте SSD и забудьте вообще что такое циклы.

на нём лог операций

Лог транзакций - полный лог всех транзакций выполненных в БД позволяющий восстановить БД на любой момент времени (на любую закрытую транзакцию)
На нагруженной базе он за день может на несколько сотен гигабайт вырасти. Не может быть и речи о том чтобы на диске где лог транзакций разместить еще какие-то данные.

То что вы описали - обычный офисный компьютер с обычной офисной нагрузкой. Которая как правило меньше чем на домашнем компьютере.