Как лучше организовать процесс работы с фотографиями?

Question

[PeterParker]

Доброго всем дня!

Прошу вас поделиться опытом или подсказать возможные решения.


Дома парк их нескольких машин:

Моноблок на Core2Duo, 7GB RAM

Системник на i5, 16GB RAM

Самосборный NAS на Atom

Ноуты на i5 и i7, 8GB Ram

Все соединено через гигабитный свитч. NAS используется для хранения фотографий (~50mb RAW), с удаленным доступом к нему. В целом все крутится достаточно быстро, но только если работать с одной машины. Стоит только подключиться со второй, или одновременно копировать информацию, все начинает сильно тормозить.


Задача:

Запустив процесс обработки изображений на моноблоке, подключиться с него через RDP к любой свободной машине и продолжить работу со следующим материалом.


Каким будут «узкие места» при таком методе?

Есть ли смысл в производительных hdd на серваке (к примеру WD RE)?

Есть ли какие либо мысли по теме?


Самое главное — работать за одной машиной, используя ресурсы других.

Answer 1

[Пума Тайланд]

Самое глупое и очевидное что надо сделать, это понять почему тормозит, не хватает производительности винта на насе, или процессора или памяти или же все упирается в сеть и ничего кроме расширения её не поможет.
Все советы без элементарной диагностики на которую нужно потратить пять минут беспочвенны и не достойны внимания.

Comments

[PeterParker]

По моим наблюдениям, скорость обмена не превышает 400 мбит/с, память используется лишь на 40% (установлено 3 Gb), процессор не напрягается больше, чем на 20% (Intel Atom N2600), а вот то, что не хватает производительность HDD вполне допускаю.

[Пума Тайланд]

Запустите на насе top для проца и памяти, iotop для диска, iptraf для нагрузки на сеть, результаты кидайте сюда.

Answer 2

[SokoloffP]

Ваш самосборный NAS умеет iSCSI? Поставьте туда FreeNAS, он точно умеет быть target-ом, а в винде есть initiator. Затем было бы неплохо посмотреть, что у вас там за диски. WD RE имеют смысл, к ним так же имеет смысл добавить SSD диск на 128/256 гигабайт под кеширование в составе технологии Intel Rapid Storage, например.

Можно сеть перевести на 10G, соответственно поменять сетевые карты и свитч. Кстати, насчет последнего, он свитч или всё-таки хаб?

Ну и насчет обработки фотографий. Всё зависит от того, какие задачи вы хотите распарралелить. Скажем, пакетную обработку вида Auto Adjustment -> Resize -> Sharp -> Save или что-то сложнее?

Comments

[PeterParker]

Нет, не умеет. Почитаю про этот протокол.
Диски стоят все WD Green 2+1+1тб.
Использую Netgear gs105e.

Пока экспортируются фотки, хочу кинуть отработанный материал на фотошоповский дроплет, где прописана портретура, параметры шарпа и ресайз.

[SokoloffP]

Свитч бы поменять, я бы взял для дома HP (ex. 3COM), смотрите по цене.
Диски менять, это точно. Можно не RE, можно даже WD Black + SSD.
Софт тоже менять.

Ну и конечно, как вам пишут ниже, нужны данные по производительности.

Answer 3

[MisterSpock]

По сути, узким местом здесь всегда является диск. Программы обработки будут захватывать RAW файлы.

Я боюсь, что единственный разумный вариант - это сделать постоянно обновляющееся зеркало (точнее, клон) для оригинальных файлов, либо через RAID 0, либо пользуясь какой-нибудь утилитой для бэкапа, и работать с зеркалом (подобная технология применяется, AFAIK, в БД типа MySQL, когда нужно разделять запросы).

Т.е. думаю, что без той или иной формы физической кластеризации информации все процессы всё равно будут идти очень медленно, и сеть тут не поможет.