Как лучше загрузить Windows и весь системный раздел напрямую в RAM-диск при старте коипьютера?

Question

[Владимир Сергеев]

Давно, года так с 2011-го, хочу замутить такую схему в качестве эксперимента по устранению бутылочных горлышек в I/O домашней рабочей станции.

Дано

• Windows 10 Pro + рабочий софт + резидентный софт;
  
• 64 ГБ быстрой памяти, из которых примерно 44–48 ГБ выделено под RAM-диск;
  
• Системный раздел на 44–48 ГБ на SSD.
  
  

План
При запуске компьютера системный раздел полностью загружается в RAM-диск. Каждую ночь разница синхронизируется с содержимым на физическом диске (и ещё раз принудительно при срабатывании ИБП). Впоследствии такой же подход можно, например, применить к ноутбуку и, помимо прочего, выиграть в электропотреблении за счёт простоя носителя (да, гомеопатия — но приятно).

Реализация запланирована на конец года (жду новых материнок), но хотелось бы попытаться досконально исследовать этот вопрос заранее.

Смысл
Чтение и запись на диск происходит на скорости обращения к оперативной памяти, то есть даже без микроскопических задержек (потому что информация идёт мимо шины SATA/PCIe; теоретически, весь обмен должен происходить только между памятью и процессором). Не надо беспокоиться об износе, усилении записи и других глупостях. Плюс, если с системой произошло что-то непоправимое, в большинстве случаев можно будет откатиться обычной перезагрузкой, но это мелкий бонус.

Таким образом проблема недостатка I/O для наиболее требовательных рабочих приложений и системы будет решена раз и навсегда, и бутылить будет уже процессор (или, там, видеокарта). Плюс подавляющее большинство бытовых действий будет происходить с максимально возможной отзывчивостью. Решение интересно как с теоретической, так и с практической точки зрения.

Проблема

• Как / с помощью чего можно создать загрузчик, который будет создавать виртуальную партицию, копировать в неё содержимое SSD и грузить Винду оттуда? Камнем преткновения видится именно создание виртуального раздела вне загруженной системы. Пока в голову приходит только Линукс + виртуалка, но работать через систему-прокладку кажется сомнительным решением. (Если бы я пользользовался только Линуксом, было бы в разы проще, понимаю.) Несколько лет назад один товарищ провернул тут похожий эксперимент с Win7 посредством GRUB4DOS, но, насколько я понял, в его случае образ лежал готовым на физическом диске ещё до загрузки, что, конечно, реализуемо, но не столь практично (конечно, если я правильно понял, что именно он сделал).
  
• Как / чем лучше синхронизировать разницу, чтобы не создавать лишнюю нагрузку на физический диск? Теоретически можно обойтись NTFS-линками; синхронизация будет быстрее, но тогда будет много лишних записей, а это не вполне желательно.
  
  

Какие ответы не жду

• Тебе это не нужно — нужно, очень нужно. :)
  
• Неэффективно — большая часть диска будет занята статичными файлами — не спорю. Однако в этом случае я преследую не эффективность. Хочется, как минимум, опробовать технологию на реальных задачах. Лишнюю память в крайнем случае можно сбыть.
  
• Тебе не хватит места — как ни странно, хватит.
  
• Купи Optane или топовый PCIe-SSD — это удобнее, но ещё дороже, чем лишняя память, и всё равно не быстрее. И грузит шину.
  

Comments

[devalone]

При запуске компьютера системная партиция

Не надо так писать...

[Владимир Сергеев]

devalone, Окей, пусть будет «раздел».

Answer 1

[nfire]

Через гипервизор можно проверить если разница в производительности. Разместить один и тот же образ системы на ссд и рам диске и прогнать тесты.
Либо вот - forum.ru-board.com/topic.cgi?forum=62&topic=24404 Там правда про 7, но возможно и 10 так запустится.

Comments

[Владимир Сергеев]

Воооот. Через этот топик набрёл на родственный ему тут, и один из пользователей там пишет следующее:

I use Acronis to image the live system, then mount the .VHD file, then use Acronis again to write the image back to the mounted .VHD. I'm guessing you could script this to give a one click solution, but I haven't got round to it yet.

То есть заранее подготовленный VHD загружается в рамдиск через GRUB4DOS и прямо из-под живой системы изменения записываются обратно в VHD, что в принципе отвечает моему запросу. Так что, как минимум, идея технически реализуема существующими средствами. Это уже радует! Тесты прогоню, само собой.

Большое спасибо!

Answer 2

[АртемЪ]

Как лучше загрузить Windows напрямую в RAM-диск при старте коипьютера?

Вы не поверите, для этого ничего не нужно делать. Она в любом случае загружается в RAM при старте системы, сама собой.

эксперимента по устранению бутылочных горлышек в I/O домашней рабочей станции.

Любой современный SSD гарантированно устранит все бутылочные горлышки в I/O если вы положите систему на него. Дальнейшее увеличение IOPS диска не даст эффекта, по той простой причине, что узкого места уже не будет. Это факт, многократно проверенный и доказанный.

Не надо беспокоиться об износе, усилении записи и других глупостях.

Ну беспокоиться об износе SSD и HDD довольно глупо, в данном случае. А вот что такое усиление записи не совсем понятно.

Таким образом проблема недостатка I/O для наиболее требовательных рабочих приложений

Проблему недостатка I/O для требовательных приложений это никоим образом не решит, для этого надо грузить в RAM не систему, и даже не приложение, а данные с которыми работают приложения, и папку в которой эти приложения хранят свои кэши, и прочие промежуточные результаты.

Тебе не хватит места — как ни странно, хватит.

Вы серьезно 16гб занимает десятка?
И в этот размер входит файл подкачки? Или вы его отключили???

64 ГБ быстрой памяти, из которых примерно 44–48 ГБ выделено под RAM-диск;

Поверьте самое лучшее в этой ситуации отдать эту память системе, и не лепить RAM драйвов, так она будет использоваться наиболее оптимально и принесет больше пользы.
Исключение - старые, кривые приложения не умеющие эффективно использовать память и в наглую эксплуатирующие диск. Такие иногда есть смысл загрузить в рамдрайв. Но это редко.
И в любом случае - выигрыша против SSD это все равно не даст.

Не забывайте что любой RAMдрайв это драйвер который постоянно крутится в оперативной памяти, и неслабо грузит процессор.

Comments

[Владимир Сергеев]

Ну вы серьёзно не поняли, да? Речь о том, чтобы весь системный раздел запихать в рамдрайв, чтобы софт не обращался к диску.

[АртемЪ]

Владимир Сергеев, Да я понял, ответ дописал.
Это бессмысленно и беспощадно.
Хотя реализовать можно, но очень сложно.
Нужно писать свой загрузчик, который будет создавать RAM драйв, клонировать на него системный раздел, и передавать на него загрузку.
Штатный загрузчик умеет только передавать загрузку готовому разделу.

[Владимир Сергеев]

АртемЪ, Ну так мне и интересно, как это реализовать. Погонять тесты, попробовать на практике; и ради спортивного интереса, и в качестве квази-апгрейда на неопределённый срок (с таким решением нужды обновлять системный диск не возникнет никогда). Интересна масштабируемость решения.

Если я правильно вас понял, готовых решений для создания рамдрайва не из-под системы нет. Насколько трудозатратно было бы создать простейшую самописную реализацию? Можно ли каким-либо способом приспособить под это, скажем, загрузчик WinPE или что-нибудь подобное?

EDIT: Отвечу сразу на ваши вопросы.

А вот что такое усиление записи не совсем понятно.

Write amplification.

для этого надо грузить в RAM не систему, и даже не приложение, а данные с которыми работают приложения, и папку в которой эти приложения хранят свои кэши, и прочие промежуточные результаты.

О чём и речь.

Вы серьезно 16гб занимает десятка?
И в этот размер входит файл подкачки? Или вы его отключили???

Да, серьёзно. 11 ГБ после сжатия. Без потери функционала. Файл подкачки, конечно, отключён. С большим количеством оперативной памяти он приносит больше вреда, чем пользы. Это «факт, многократно проверенный и доказанный». :)

[АртемЪ]

Если я правильно вас понял, готовых решений для создания рамдрайва не из-под системы нет

Ну я точно о таких не слышал, и уверен что нет.

Насколько трудозатратно было бы создать простейшую самописную реализацию?

Достаточно трудозатратно, писать надо на языке низкого уровня, например С++, и писать надо этакий симбиоз рамдрайва с загрузчиком. Это приличный объем работ, и требует нехилых знаний в написании низкоуровневых приложений.

Можно ли каким-либо способом приспособить под это, скажем, загрузчик WinPE или что-нибудь подобное?

WinPe это ни в коем случае не загрузчик, это полноценная операционная система.
А насчет чего-то подобного - разве что grub в качестве загрузчика можно использовать, но это меньшая часть задачи, а большая часть задачи реализовать рамдрайв на голом железе, реализовать чтение образа с диска и заливка в рамдрайв.

Write amplification.

А, вы о мультипликаторе WA. Усиление записи это кривой перевод - нормально переводится эта фраза в этом контексте как увеличение объема записываемых данных.
Тут все просто - вообще беспокоиться о нем в десктопных системах смысла нет.
Если речь про сервера с высокой нагрузкой достаточно обеспечить приличный over provisioning и все.
А его под хайлоадом в любом случае придется обеспечивать, дабы не нарваться на тормоза.

О чём и речь.

Ну так и грузите в рамдрайв приложения и данные из под винды, систему то нафига туда пихать?

Файл подкачки, конечно, отключён. С большим количеством оперативной памяти он приносит больше вреда, чем пользы.

Это не так, с любым количеством оперативной памяти он нужен и полезен. И это факт. Просто чем больше памяти, тем меньше система с ним работает.

[Владимир Сергеев]

АртемЪ,

WinPe это ни в коем случае не загрузчик, это полноценная операционная система.

Я имею в виду не сам WinPE, а загрузчик, который он использует для того, чтобы загрузить систему с DVD в память. Там в принципе примерно то, что надо, только в теории его надо запускать с жёсткого диска и создавать виртуальный диск не из образа, а копированием.

Это не так, с любым количеством оперативной памяти он нужен и полезен. И это факт. Просто чем больше памяти, тем меньше система с ним работает.

Факт в том, что система с ним работает всегда — даже когда память использована не полностью. А если учесть, что скорость и задержки даже у SSD на несколько порядков ниже, это было, есть и будет основной бутылкой. На сервере может быть необходимым злом, да, а дома я причин для этого не вижу. Я даже когда на 8 ГБ сидел, единственная польза от подкачки была в том, что протёкшие приложения не вылетали с ошибкой после вычерпывания свободного объёма. Но это не смущало, потому что их и так нужно было перезагрузить.

Ну так и грузите в рамдрайв приложения и данные из под винды, систему то нафига туда пихать?

Ну, если никаких других решений не найдётся, то, видимо, так и придётся поступить. А вообще хотелось универсальности и полной отвязки от диска для типовых задач.

В любом случае спасибо. Оставлю вопрос открытым на всякий случай, если вдруг кто-нибудь ещё захочет поделиться соображениями.

[АртемЪ]

Я имею в виду не сам WinPE, а загрузчик, который он использует для того, чтобы загрузить систему в память.

Тот же самый загрузчик, который грузит windows, тот самый bootmgr.

Факт в том, что система с ним работает всегда — даже когда память использована не полностью.

Да, конечно, так и должно быть, просто чем больше памяти, тем меньше работает, при очень больших объемах работа с ним практически прекращается.
Просто нужно понимать как именно система с ним работает, и тогда станет ясно что никакого вреда он в принципе не приносит.

Я даже когда на 8 ГБ сидел, единственная польза от подкачки была в том, что протёкшие приложения не вылетали с ошибкой

Ну если довести систему до такого состояния, что приложения вылетают от нехватки памяти, о какой работе вообще можно говорить, тут надо срочные меры принимать.

А вообще хотелось универсальности и полной отвязки от диска для типовых задач.

Пишите свои приложения которые не будут использовать диск.

Поймите простую вещь - рамдрайв это всегда двойная работа по перекладыванию данных, и этой работой занимается процессор, вместо обработки полезных задач.
SSD устранит бутылочное горлышко диска.
А RAMдрайв устранит бутылочное горлышко диска, и сделает бутылочным горлышком процессор.

[Владимир Сергеев]

Просто нужно понимать как именно система с ним работает, и тогда станет ясно что никакого вреда он в принципе не приносит.

SSD устранит бутылочное горлышко диска.

Если не считать замедление работы вредом, то конечно, нет. А на практике я регулярно сталкиваюсь, например, вот с этим. Видите графу response time? Вот и я вижу. И это не БД запущена — это я всего лишь вкладки туда-сюда в браузере пощёлкал. На SSD, да.

Ну если довести систему до такого состояния, что приложения вылетают от нехватки памяти, о какой работе вообще можно говорить, тут надо срочные меры принимать.

Вы как моя бабушка, чесслово. :) Вылетал в основном Firefox, потому что периодически протекал. Больше я им не пользуюсь. Кроме него с вылетом по памяти сталкиваюсь хорошо если раз в пару месяцев.

Поймите простую вещь - рамдрайв это всегда двойная работа по перекладыванию данных, и этой работой занимается процессор, вместо обработки полезных задач.

Меня до этого точно так же пугали насчёт сжатия NTFS. Для 2001 года, когда я начал пользоваться этой файловой системой, это, может, было более-менее актуально, а сейчас работа со сжатыми файлами съедает от силы полпроцента процессорного времени, а нагрузку на диск снижает раза в полтора. Что же касается обработки полезных задач, то на процессоре я запускаю задачи двух типов. Первый загружает все потоки, работает не в реальном времени, и ему всегда мало производительности (напр., обработка видео каким-нибудь QTGMC). На фоне этого потеря каких-нибудь пяти–семи процентов процессорного времени не решит ровным счётом ничего. Второй тип — точечные, преимущественно однопоточные запросы, в результате чего проц загружается редко и сразу освобождается. Я даже если несколько рамдрайвов сделаю, они никогда не будут медленнее даже самого быстрого диска при прочих равных. По факту он будет бутылочным горлышком, да, но если это повысит общую отзывчивость системы, то почему бы и нет.

[АртемЪ]

Если не считать замедление работы вредом, то конечно, нет. А на практике я регулярно сталкиваюсь, например, вот с этим. Видите графу response time? Вот и я вижу. И это не БД запущена — это я всего лишь вкладки туда-сюда в браузере пощёлкал. На SSD, да

Замедления никакого нет.
Не понял какое имеет отношение браузер к файлу подкачки? Браузер одно из самых требовательных к памяти приложений в системе, и регулярно сбрасывает данные в кэш, и читает оттуда.
Откройте монитор ресурсов и вы увидите что он непрерывно пишет на диск.

Вылетал в основном Firefox, потому что периодически протекал. Больше я им не пользуюсь. Кроме него с вылетом по памяти сталкиваюсь хорошо если раз в пару месяцев.

Вылетал он не потому что как вы выразились "протекал", а потому что ему банально памяти не хватало.

[nidalee]

Подключусь к срачу: я не совсем понимаю вашу задачу. По-моему вы ее сами себе усложняете. У вас рабочий инструмент - что? Система? Скорее всего какая-то одна программа. Зачем вам весь раздел на РАМ диске?
На примере моего рабочего инструмента - Adobe Premiere. Перед установкой делаем symlink на рамдиск из %Programfiles%, ProgramData, %appdata% и %localappdata% (не папки целиком, а в каждой из них на папку Adobe). После установки все кеши и файлы проектов тоже сохраняем на рамдиск.
Все. Программа целиком шарашит в рамдиске, а сколько у меня папки открываются - одну секунду или полторы - вообще значения не имеет. Еще бы я на рамдиск запихнул файл подкачки (но это под вопросом). Он не очень часто бывает нужен, но многие программы не рассматривают варианта с его отсутствием и тогда Windows начинает радостно сыпать сообщениями "у вас памяти нет, сейчас я вам вот это все закрою:". Сомнительное удовольствие. Swap проблем не создает, он от них спасает.
Может быть вам только вашу программу по аналогии установить? В противном случае, единственным реальным применением такой "системы в ram" будет специальная олимпиада "а у меня быстрее Windows грузится". И в ней вы вряд ли выиграете - система просто не рассчитана на такую скорость дисков. Она не будет ее полностью использовать. Это как игру 2000 года запустить на SLI из 1080TI. Ну загрузится одна из видеокарт на 20%, все остальные мощности будут простаивать. О чем это я? Ах да, виноват не столько диск, сколько софт.
Да и сжимать данные мне идея тоже не нравится. Нужна вам лишняя нагрузка на процессор?

[АртемЪ]

nidalee,

Все. Программа целиком шарашит в рамдиске

Пробовали сравнить быстродействие Adobe Premiere на RAM диске, и на SSD?

Еще бы я на рамдиск запихнул файл подкачки (но это под вопросом)

Очень не согласен.
Попробую обосновать насчет файла подкачки.
Когда памяти очень мало и реально нехватает - в файл подкачки постоянно скидываются огромные объемы информации, это тормоза. Но тут проблема явно не в файле подкачке а в недостатке памяти.

Когда памяти достаточно - большую часть времени памяти хватает, мы можем наблюдать в диспетчере задач при средней нагрузке, что треть памяти свободна - тут файл подкачки используется меньше, но все равно используется.

Причины использования подкачки когда памяти хватает -
1) Посмотрите на частоту процессора, сколько он делает операций в секунду, и на частоту памяти. Речь идет о сотнях миллионов и миллиардов герц. Подумайте сколько раз использование памяти может поменятся за секунду.
А в диспетчере задач вы видите примерное среднее потребление - это что-то вроде средней температуры по больнице. И во многих случаях настолько же информативно.
Т.е диспетчер может показывать половину неиспользуемой памяти, а ее может реально не хватать в некоторые моменты.

2)Существует такая штука как фрагментация памяти - чтобы от нее избавится, опять же идет работа с файлом подкачки. Данных там сбрасывается очень немного - но это приносит явную пользу.

3)Если область памяти долго не используется она может быть сброшена в подкачку, но из памяти не стирается, если приложению срочно понадобиться много памяти - можно будет без проблем отдать сразу много памяти, а потом выдернуть данные из подкачки.
Если никто не попросил в это время выделения памяти - значит она так и осталась нестертой в памяти, читать ее из подкачки не нужно.

В общем включенный файл подкачки обеспечивает стабильную работу и эффективное использование памяти. Есть небольшой оверхед по записи на диск, но как правило это несущественно, и не мешает.
Исключение - когда под системой у вас обычный HDD. Любая работа с файлом подкачки это небольшой объем данных, но очень много I/O. Диск не справляется. На SSD проблем вообще нет.

А вот файл подкачки корячить в рамдрайв это явное извращение.
Во первых вы отбираете у системы под рамдрайв кучу оперативки, которую она могла бы использовать для выделения приложениям, для кэширования данных.
Во вторых у вас менеджер памяти будет заниматься идиотской работой - перекладывать данные из одного участка физической памяти в другой. Смысла вообще никакого. Уж лучше отключить, чем такое делать.

[nidalee]

АртемЪ, нет столько памяти у меня.
А премьер реально килотонны данных скидывает в файл подкачки и я не уверен, что с этим можно бороться. У меня 16 гигабайт - он вполне может занять 8 в памяти и 30 в файле. Если файл подкачки убрать, начнутся вылеты. И судя по тому, как пропорционально увеличивается потребление памяти программой при увеличении ее объема - просто добавить памяти не поможет. Потому что тогда он будет скидывать 16 в память и 42 в файл...
Короче, не все программы могут адекватно без него работать.

[АртемЪ]

nidalee, В вашей ситуации самое адекватное -
1) убрать рам диск, поскольку памяти мало, ее банально приложению не хватает.
2) Поставить SSD под систему.
3) Файл подкачки - по выбору системы.
4) Добавить оперативки.

[nidalee]

АртемЪ, я знаю. У меня его и нет, этого ram диска. Ну, есть под браузер - но во время работы я его выключаю. Это так был, полет фантазии все.

Answer 3

[Saboteur]

SSD диск (тот же M2) достаточно быстрый, чтобы быть вполне сравнимым с рамдиском по скорости.
Можете на рамдиск запихнуть браузер с его кешем, но всю систему со ВСЕМИ программами - нет смысла

Comments

[Ltonid]

Добавлю, что уже есть бэта технология где жесткий вставляется в шину памяти, конечно контроллер всё равно ещё как у М2, но той причины что указывает топик стартер нет ибо сата не используется. Стоит сумашедших денег и не везде применим.