Виртуализация на кластере

Question

[max_mara]

Добрый день,

вопрос такой, есть 10 машин примерно с одинаковой конфигурацией (Core i5 с аппаратной виртуализацией и 8gb ddr3)

Хочу объеденить их все в один большой вычислительный кластер и размещать на них виртуальные ОСи.

Правильно ли я понимаю, что если у меня есть 10 машин с 2-х ядерными Core i5, то для одной любой виртуальной ОС я смогу использовать 20 ядер (10 Core i5 x 2 ядра в каждой) и 80gb оперативной памяти? Или как?

С чего начать? Куда вообще копать? Статьи?

Comments

[max_mara]

Задача, запускать на этом кластере виртульные ОСи для всяких веб приложений, тоесть создать такое корпоративное облако, на котором под каждое web приложение, будет своя виртуальная ОС с real IP и\или с возможностью записи в какие-либо физические порты, т.к. некоторые виртуальные ОСи будут иметь софт, который будет автоматизировать и управлять производственными процессами

Answer 1

[alexk24]

Для начала придется определиться для решения какой задачи это Вам нужно. Потом уже искать способы решения этой задачи. 20 ядер на виртуальной ос получить не получится. В одной виртуалке максимум то что имеет физическая машина. Совмещать процессора с разных машин в одну виртуалку теоретически возможно, но практически бессмысленно из-за медленного транспорта между машинами.
Кластер и виртуальная машина кстати две большие разницы. Виртуальные машины на данный момент используются для консолидации серверов, а кластера наоборот для распараллеливания вычислений и получения отказоустойчивости. Иногда эти методики совмещают.
Опять таки для того чтобы распределить задачу на 10 машин эта задача
В целом же хотелось бы услышать задачу которую требуется решить. Тогда уже можно будет думать над средствами ее решения.

Comments

[alexk24]

Извиняюсь. Задумался, не дописал.

Опять таки для того чтобы распределить задачу на 10 машин эта задача должна быть разделена на N равных частей выполняющихся одновременно без обмена данными между потоками или с не частым обменом данными. Т.е. каждый вычислительный процесс в идеале должен быть самодостаточным. Просто потому что передача данных между элементами кластера довольно медленная штука и в целом может заметно снизить его эффективность. То есть не каждую задачу можно эффективно распараллелить.

[alexk24]

Сразу хочу предупредить — с доступом к какой либо физике будут большие проблемы. На данный момент подключение HASP ключика для той же 1С иной раз вызывает затруднения. Приходится либо использовать USB-over-ethernet решения, либо пробрасывать железку в гостевую ос. Второе решение фактически привязывает гостевую систему к хосту и мигрировать его без переноса аппаратной части (ключа) не получится.
Так что вполне может оказаться что в Вашем случае овчинка выделки не стоит. По крайней мере в части применений.

Из интересного на эту тему могу посоветовать почитать на хабре: habrahabr.ru/tag/xen%20cloud%20platform/ и особенно цикл статей «Xen Cloud Platform в условиях предприятия».

Answer 2

[gribozavr]

Если вы хотите вычислительный (HPC) кластер, то скорее всего вы хотите apt-get install openmpi-bin libopenmpi-dev и запускайте свои MPI программы на здоровье. Также возможно захотите установить систему управления очередью задач (torque, например).

> Правильно ли я понимаю, что если у меня есть 10 машин с 2-х ядерными Core i5, то для одной любой виртуальной ОС я смогу использовать 20 ядер
Нет, у вас всё ещё остаётся 10 машин и 10 запущенных ОС, но правильное ПО помогает вам управлять и работать на них как на одной.

Comments

[alexk24]

Ага. Но для вычислений на данный момент становятся интереснее технологии вроде CUDA или аренда ненадолго инстансов у того же амазона. Но это разумеется при сравнительно мелких объемах вычислений которые имеет смысл делать на кластере из 10-20 машин. Хотя никто не запрещает использовать OpenMPI с CUDA совместно…