[linux] как выделить больше памяти/ресурcов для приложения?

Question

[delkov]

Доброго времени суток, уважаемые!

Дано: linux, 4 ядра, 16gb RAM.
Задача: необходимо дать больше ресурсов для процесса matlab, либо для программы написанной на C++ main.cpp.

При выполнении программы процессор кушает только 14%, RAM 15% -- хотелось бы больше.
Существуют ли какие-то варианты распараллеливания?
*сама программа тривиальна: есть txt ~ 1gb, читается построчно и с данными строки делаются арифметические операции.

Заранее благодарен!

Comments

[AtomKrieg]

Вам на прошлый вопрос накидали ответов. Вы ни один не пометили как решение. Что-то не хочется вам отвечать.

[delkov]

Право, не обессудьте, думаю над каждым из них. проверю, и непременно щелкну.

Answer 1

[res2001]

Распараллеливать смысла нет - дисковые операции плохо паралляться, т.к. диск - медленное устройство. Основной тормоз в вашем случае именно он. Читайте не построчно, а большими блоками, кратными размеру кластера, например по 4/8/16Кб, этим сократите количество дисковых операций. Код конечно усложниться. В прошлом вопросе вам Oleg Shevelev это уже писал.
Для распараллеливания можно использовать асинхронный IO, но, имхо, это еще больше усложнит код, скорее всего для вашей задачи это не нужно (должно помочь чтение большими порциями), т.к. дальнейшие операции с прочитанной строкой тривиальны.
И кстати, можно не делать чтение файла на С++, если хорошо знаете Матлаб делайте на нем по тому же алгоритму - т.к. дисковые операции основной тормоз, то преимущества от использования С++ практически не будет.

А вообще система отдает программе столько ресурсов сколько ей требуется, если ресурсов не хватает - обычно программа завершается с ошибкой.

Comments

[delkov]

Верно ли я понял: читать за раз 10 строк -- много выгодней чтения в цикле строку 10 раз (во втором случае обращение к диску идет единожды). Исходя из этого, чем больше за раза - тем выгодней, то разбиение должно выбираться из размера моей оперативной памяти (весь кусок при прочтении подгружается в нее?). Каков оптимус для 16 Гб?

Большое спасибо за ответ!

[res2001]

Верно, надо уменьшать количество дисковых операций. Оптимальный размер блока найдете в ходе тестов :) А кратность размеру кластера - для оптимизации дисковых операций, т.к. за одну физическую операцию чтения диск возвращает 1 прочитанный кластер.
Основная проблема будет в том, что в прочтенном блоке данных разбивать на строки нужно будет вручную, но это не большая проблема и тут уже идет работа с памятью.

[Максим Мосейчук]

delkov: не совсем. Практически весь ввод\вывод буферезированный. Читаете вы 1 байт, а ОС с диска читает сразу 64килобайта, и последующее чтение файла не приводит к дисковым операциям, до следующего блока.

[Oleg Shevelev]

Вы уверены что дисковая подсистема действительно медленная? Замерьте скорость чтения файла как такового:
time cp ./file ./file2
Потом добавьте к этому максимум 20% и получите то что можно получить нормальным алгоритмом, на Си/Си++ уж точно.

[res2001]

Oleg Shevelev: у delkov, по моему, на диск ничего писать не надо, все вычисления будут производится в памяти, поэтому полученное время можно смело делить на 2 - и к этому времени должен приближаться алгоритм, а то и меньше, т.к. операция записи медленнее, чем чтение.
fshp: При таких объемах все кэши сдохнут очень быстро и начнется непосредственное чтение.

[Oleg Shevelev]

res2001: никто не мешает делать копирование в /dev/null и ничего потом не делить.
Обычно скорость подсистемы хранения данных в linux смотрят как-то так:

$ du -sh ./binar.file
1,7G	./binar.file
$ time dd if=./binar.file of=/dev/null
3460652+1 records in
3460652+1 records out
1771853970 bytes transferred in 13.713691 secs (129203288 bytes/sec)

real	0m13.740s
user	0m1.143s
sys	0m6.671s
$ time cp ./binar.file /dev/null

real	0m5.295s
user	0m0.006s
sys	0m1.370s

В данном случае использовался десктоп с SSD на котором есть нагрузка, по этому цифры могут резко отличаться от запроса к запросу.

Конечно в моём случае 13.7 секунд это довольно много, но если ожидать 10 минут работы алгоритма то выводы можно сделать. В общем надо сравнить скорость чтения и скорость выполнения и если разница очень большая - это симптом не эффективного алгоритма.

Answer 2

[uvelichitel]

Иногда помогает увеличение приоритета процесса (max -20, min 19, user default 0) командами nice, renice
при запуске
bash$ nice -n -20 yourmatlabprocess
в ходе работ
bash$ renice -n -20 PIDofYourProcess

Comments

[Antony]

nice же только от OOM-killer`а спасет?

[uvelichitel]

Antony: Я использую в основном с обратной целью - урезать аппетит. nice -n 10 firefox работает

Answer 3

[lovecraft]

При выполнении программы процессор кушает только 14%, RAM 15% -- хотелось бы больше

Значит, бутылочное горлышко в другом месте )
Проще всего разместить текстовый файл на RAM-диске, например
mkdir /tmp/ramdisk
mount -t tmpfs -o size=2G tmpfs /tmp/ramdisk
cp ./myfile.txt /tmp/ramdisk

Все сразу станет очень быстро.