Как расширить обьем оперативной памяти на компьютере до 10 Террабайт (скорость не важна)?

Question

[Олег Петров]

Мне необходим объем памяти на компьютере 5-10 терабайт (скорость не принципиальна).
Есть софт,который загружает в память деревья для просчета и он завязан на объем оперативной памяти, но такой объем покупать для меня дорого.
Вопрос: можно ли подключить обычный жесткий диск, чтобы компьютер видел его как оперативную память?
Может есть еще способы?
Только не предлагайте оптимизацию. Софт не мой, поэтому ничего сделать не смогу с этим в данный момент.

Comments

[АртемЪ]

Сделать то можно, только работать он будет медленно.
В несколько тысяч раз медленнее
Те вычисления, которые в памяти делаются за час, на диске будут выполняться несколько лет.

[Олег Петров]

АртемЪ: Да? блин я думал это в 5-7 раз медленнее. А если ssd поставить на 2 террабайта например. Все равно будет намного медленнее?

[Alex Wells]

Скорость оперативки в таких задачах - примерно 6000 MB/s, скорость харда - 100 MB/s. Считайте сами) 5 раз блин)

[АртемЪ]

SSD быстрее чем HDD в такого рода операциях примерно в 40 раз.

[Kovalsky]

Олег Петров: так конечно нельзя делать, но всё же если учитывать только скорость чтения и предположить, что у вас используется DDR4-2400 (19200 mb/s), то получается что SSD в сравнении с оперативкой будет работать в 1) 35 раз медленнее если использовать SATA решения (550 mb/s, Intel SSDSC2BX200G401, ~60 руб./gb) или 2) в 7 раз медленнее если использовать PCI-E решения (2700mb/s, Intel SSDPEDMX020T401, ~85 руб./gb)

[dom1n1k]

Я бы на вашем месте считал не пиковую полосу пропускания, а IOPS-ы.

[x67]

А что это за софт? Возможно дешевле будет найти альтернативы или написать свой

[theurs]

По-моему ничего для этого даже делать не надо, по умолчанию подкачка на все диски идет и без ограничений.

Answer 1

[ralaton121]

А как этот софт вообще где-то работал????
Вы используете софт из центра ядерных исследований в Цюрихе?

Вряд ли у вас получится, так как вы близки к лимиту (так как вы не указали ОС, то предположу, что это defaultOS):
https://software.intel.com/en-us/articles/memory-l...
https://msdn.microsoft.com/ru-ru/library/windows/d...

Если все же хотите попробовать, то файл подкачки на SSD - типичный и обычный метод для решения таких проблем в лоб.
Он будет использоваться автоматически. То есть от вашего ПО тут ничего не зависит.

Но вообще-то приложения, которым реально требуются такие объемы оперативки - разрабатываются особым образом и запускаются не на всяких дистрибутивах ОС, а только на определенных.

Comments

[Олег Петров]

Программа для полного перебора покерных вероятностей.
Чтобы написать свою нужно знать кучу тонкостей и это будет очень долго.
А так много оперативки необходимо, так как она загружает одновременно все деревья покера в оперативку , а они могут быть просто огромны. Иногда расчет занимает всю ночь или более, представьте сколько это займет с файлом подкачки. Возможно программа неверно оптимизирует оперативку, но открытый код мне никто не предоставит, так как на этой программе зарабатываются большие деньги.

Answer 2

[Игорь]

Попробуйте принудительно поставить файл подкачки размером в 5-10Тб

Comments

[Олег Петров]

Интересно все ли приложения могут использовать файл подкачки в качестве расширения оперативки?
На сколько при этом падает скорость расчетов?

[Олег Петров]

И кстати какой сейчас есть максимальный сервер(по объему оперативки) под windows? Я нашел 256 Gb ram максимум.

[Игорь]

Олег Петров: Я буквально пару раз потыкав гугл нашёл 750Gb в средних моделях серверов HP (про сборку серверов на коленке из десктопных запчастей можете сразу забыть)
Однако хочу всёже обратить внимание на то что данный способ может и не прокатить т.к. всё во многом зависит от реализации вашего софта, который может просто не понять что столько памяти вообще существует.
P.S. и если уж вы заговорили про windows, вам нужен win server 2016 datacenter, который тоже стоит приличных денег помимо железа

[Юрий Истомин]

Олег Петров: У Windows есть ограничения на адресуемый размер ОЗУ, зависит от версии и дистрибутива.

[Александр Талалаев]

Юрий Истомин: 10 Home до 128 ГБ, остальные 10и до 2ТБ

[Игорь]

Александр Талалаев: Для таких задач надо использовать Server версии, там до 24Tb память

[ralaton121]

Олег Петров:

Интересно все ли приложения могут использовать файл подкачки в качестве расширения оперативки?
На сколько при этом падает скорость расчетов?

Для приложения это происходит прозрачным образом.
Насколько падает скорость - зависит от того насколько НЕлинейным образом происходит обращение к оперативной памяти.
В общем случае - значительно.

[Владимир Олохтонов]

ralaton121: Если грубо оценивать, то скорость HDD - 100Mb/sec при линейном чтении, SSD - 500Mb/sec, RAM ~3Gb/sec.

То есть при переходе на SSD скорость упадёт раз в 6 относительно оперативки, при переходе на HDD в 30 и более (при большом количестве нелинейных обращений).

Answer 3

[sim3x]

Ram 1-2Tb - поставить реально. Дорого, но реально (апд: в коментах указали, что в облаке не так уж и дорого)
Далее можно задействовать pci порты
Есть решения на ssd + ram в pci с хорошей скоростью и размерами в 1-2Tb

Стоимость будет конская - лучше нанять спеца для оптимизации софта под существующие платформы для размазывания задачи по кластеру из дешевых пк с 128Гб рам на борту

Comments

[devalone]

Цена на амазоне:

vCPU: 128
Memory (GiB): 1952
Instance Storage (GB): 2 x 1920 SSD

$13.338 per Hour

Если сервер будет работать 24/7 за месяц почти 10килобаксов, но тут конечно ещё и за CPU и SSD цена.

[sim3x]

devalone: хм

Не такая уж и конская получается

[chupasaurus]

devalone: Споты почти в два раза дешевле для этого инстанса, ЕМНИП + у них есть отложенное время на бутстрап, если задача не на пару лет - можно гонять за 9-10$ в час.

Answer 4

[devalone]

Очевидно swap использовать, в винде файл подкачки

Answer 5

[Пума Тайланд]

ну зафигачьте свап файл на 10тб просто