Как объединить несколько матплат или ПК?

Question

[pgolub_official]

Есть идея: собрать компьютер из нескольких (что-то на подобии кластера или сам кластер). Насколько успел ознакомиться с ответами тут и в интернете в целом: либо пишут невозможно, либо возможно но не дома или просто бессмысленные ответы типа "ты дурак", "зачем тебе, купи норм комп" и т.д.
Опережая вопрос зачем: скорость вычислений и многофункциональность.
Если это не возможно, то есть ли возможность сделать что-то типа такой вариации: центральный процессор (распределяет нагрузку и задачи) + вычислительная мощь от всех остальных (на которые и отправляет задачи центральный процессор).
Знаю, написано безумно и бредово, но может, кто понял, то подскажет? Заранее спасибо
PS (от Винды не хотелось бы уходить, но если придется, то не сильно расстроюсь).

Comments

[Дмитрий Шицков]

Можно было бы что-то ответить, но непонятно что, чем и на чем планируется вычислять? И зачем необходимо кластеризовать именно на уровне железа, а не ПО?

[АртемЪ]

pgolub_official,

Опережая вопрос зачем: скорость вычислений и многофункциональность.

И зачем вам низкая скорость?
Ради того, чтобы уменьшить скорость городить кластер???
Вы просто частоту процессора пониже поставьте и будет вам низкая скорость и без кластера.

Answer 1

[Алексей Черемисин]

Да, можно! Например под линуксом.
1) Ставите рядом кучу плат.
2) Все платы соединяете через один коммутатор ethernet (желательно на 1Гб, лучше на 10Гб, а у нас по Infiniband)
3) Ставите оркестратор задач (здесь все зависит от того, что хотите, так что есть варианты), начиная от docker/lxc/kvm/kubernets/composer и заканчивая htcondor (и последний, и докер, и kvm, и lxc у нас прижились)
4) на все диски матплат можно натянуть CEPH, чтобы задачи мигрировали быстро и плавно.
5) Кластер готов!!!!

Comments

[mordo445]

Вторую неделю наблюдаю за своим бедным коллегой (инженер майкрософт с большущим опытом), он в качестве челленджа взялся заделать кластер виртуализации на центосе. Был человек счастливый, стал красноглазый) Ругается на кривые беспощадно противоречащие друг другу мануалы и фантастическую поддержку файловых систем. Думаю шага 5) автор вопроса не сразу достигнет)))

[Алексей Черемисин]

mordo445, ну, нельзя вот так просто взять и построить кластер! Хотя из коробки все работает. Сами на центосях.

Answer 2

[Stalker_RED]

Если вы не готовы модифицировать материнские платы и биос, а также модифицировать ОС под свои задачи, то самым доступным методом будет объединение в кластер по сети.
Готовые рецепты уже есть https://www.google.com/search?q=how+to+make+a+clus...
В том числе с игровым уклоном (помнится, был ролик, где q3 запускали на убунту-кластере).

Но вы еще раз подумайте хорошенько зачем оно вам. Потому что задержки при передаче по сети неизбежны, и далеко не все задачи эффективно распараллеливаются. Вы сможете построить свою рендер-ферму, или поисковую систему, например, но у вас не получится запустить киберпанк на десятке компов из 2005. И на сотне не получится.

Answer 3

[longclaps]

Собирай

Answer 4

[Saboteur]

Есть идея: собрать компьютер из нескольких (что-то на подобии кластера или сам кластер).

Как объеденить несколько матплат или ПК?

Так идея объединить несколько матплат или собрать кластер?

Вам пишут что это невозможно или что ты дурак правильно - постановка вопроса показывает, что вы не особо представляете как работает даже одна плата, а пытаетесь собрать сложную архитектуру.

Опережая вопрос зачем: скорость вычислений и многофункциональность.

Это очень простые слова. Что именно нужно вычислять? Где перфоманс тесты, которые бы показали что один компьютер не справляется, и как вы собираетесь распарралеливать вычисления?

Что такое многофункциональность в вашем понимании? Чтобы комп вычислил число ПИ и борщ сварил? Или что именно подразумевается?

Если это не возможно, то есть ли возможность сделать что-то типа такой вариации: центральный процессор (распределяет нагрузку и задачи) + вычислительная мощь от всех остальных (на которые и отправляет задачи центральный процессор).

Вот, например, один из моментов - центральный процессор куда что распределяет? На другие мат.платы? Так вычислительную мощь обычно предоставляет именно центральный процессор, а не другие мат.платы.

Знаю, написано безумно и бредово, но может, кто понял, то подскажет? Заранее спасибо

Постарайтесь сперва самостоятельно осознать цель и привести внятные примеры.

PS (от Винды не хотелось бы уходить, но если придется, то не сильно расстроюсь).

ню-ню.

Собственно задача создания кластера - довольно сложная. Не невозможная, но требует технических знаний, архитектурного понимания. Поэтому отвечать на вопрос человеку, который даже базово не может сформулировать вопрос - нет смысла.

Почти все, кто отвечает - хорошо понимает что именно вы спрашиваете, но суть в том, что ваш вопрос это не вопрос, а невнятная формулировка идеи, и отвечать на нее внятно невозможно.

Answer 5

[Василий Банников]

Есть NUMA
Но я хз, на сколько реально это поднять на потребительских компах, и на сколько это будет работоспособно с тем софтом, который вы хотите использовать.

Ещё можно просто объединить эти компьютеры в одну локальную сеть и использовать модель распределённых вычислений. Как вы тут описали:

Если это не возможно, то есть ли возможность сделать что-то типа такой вариации: центральный процессор (распределяет нагрузку и задачи) + вычислительная мощь от всех остальных (на которые и отправляет задачи центральный процессор).

Но это всё опять же зависит от софта - не любой софт пригоден для такой архитектуры (вернее не любой сможет вообще получить преимущества от этого)

Answer 6

[АртемЪ]

Объединить можно - есть конечно сложности, софт нужен определенный но можно.
Основной вопрос зачем?

Опережая вопрос зачем: скорость вычислений и многофункциональность.

Скорость будет очень низкая, намного ниже чем один компьютер.
Вот и непонятно зачем вам снижать скорость?
А насчет многофункциональности не совсем понятно.

Answer 7

[pindschik]

А я тоже брошу свой тапочек.. :)
Подобные проблемы очень хорошо объяснять на автомобилях:
Вот смотрите, был у вас МОПЕД, и была для него одна задача - ехать в соседний город. Допустим доезжали за 5 часов.
Потом появилась Тойота Камри, и путь стал занимать 2 часа.
Круто, думаете вы! Куплю-ка я 8 Тойот и буду теперь доезжать за 15 минут! А для многофункциональности - еще куплю 2 карьерных самосвала и 4 экскаватора! И вот вы беретесь за дело - и перегоняете эту всю технику в соседний город, уходит четверо суток (возвращаясь обратно на попутках). Странно, думаете вы, а ведь мопед был намного быстрее!

Пока не поймете, как КОНРЕТНО ВАША задача делится на несколько исполнителей, и делится ли она вообще (9 женщин не могут выносить одного ребенка за 1 месяц) - нечего ставить себе абстрактные цели...