Рендер-ферма: стойка vs мощный системник?

Question

[DmitriKotov]

Всем привет.

Посоветуйте пожалуйста, те, кто имел практический опыт работы с системами из более чем 2-х CPU.

Задача: построить мощную рендер-ферму для просчёта визуализации. Бюджет не безлимитный, но все варианты, которые приведены ниже, вполне возможны. Итак.

Варианты:
1. Построить мощный системник, содержащий до 8 CPU Intel Xeon(10-core).
Например, вот на этой плате.
Никогда не видел, чтобы в одном корпусе умещалось так много CPU. Как быть с теплоотводом? Есть ли у кого реальный опыт, ссылки или примеры того, как это вообще можно втиснуть в какой-либо корпус? Живые примеры кто-нибудь видел?

2. Или построить стойку (вместимостью от 10 лезвий). Куда впоследствии можно было бы просто докупать и вставлять в стойку новые лезвия (напр. в каждом лезвии по 2-4 CPU Intel Xeon 10-core, и 128Gb DDR3).
Например, что-то вот такое.

Очень хотелось бы именно стойку, куда потом просто докупать лезвия.

Вопросы:
- Как именно на практике вычислительные ресурсы стойки объединяются воедино? Как это всё работает? У меня нет опыта. Подскажите пожалуйста, кто знает точно.
Другими словами: Если стойка, то для создания единого подмножества CPU и RAM потребуется развёртывать что-либо наподобие OpenStack, или же железо в стойках на нативном аппаратном уровне расшаривает аппаратные ресурсы всех блейдов?

- Если возможно построить единое вычислительное облако (OpenStack): то покупать лицензии 3ds max backburner + vray потребуется как на одну машину?

- Появился ли способ использовать для просчёта визуализации Vray вычислительные ресурсы Intel Xeon Phi, или GPGPU (OpenCL или CUDA)?

Если в чём не точно выразился, или у Вас есть вопросы, то можете задавать.
Спасибо.

Comments

[deleted-rss1alex]

Если хочешь многопроцессорность и многоядерность - оба варианта неправильны. Тебе на заметку дам ссылку. Транзит и страхование полгода назад отсутствовали и недавно фирму-производителя ПК перекупили и могут сделать филиалы в других странах и городах, расширение рынка. Даже этот компьютер устарел. Откажись от процессоров Хеон.

[deleted-rss1alex]

Оперативную память выбирай или ddr2, или ddr4, или ddr5

[deleted-rss1alex]

Вычислительных лицензий не нужно.

[deleted-rss1alex]

3d-моделирование можешь лицензировать.

[deleted-rss1alex]

Можешь сначала помоделировать в Blender-е.

[deleted-rss1alex]

Ответ на один из твоих вопросов у меня есть в моем вопросе Какие книги почитать про параллельные вычисления локально на нескольких компьютерах?

[deleted-rss1alex]

Это называется не "рендер-ферма" и этот запрос прекратите задавать в поисковой строке.

[deleted-rss1alex]

Мне не нравятся цены на процессоры Intel. У каждой модели цена 30 000 рублей. Intel Xeon стоит в РФ 5000 рублей.

[deleted-rss1alex]

Торговая наценка 20%, непонятная многократная перепродажа через более трёх продавцов-посредников. Цены указал.

Answer 1

[Армянское Радио]

Некоторые блейд-стойки, вроде HP C3000 логически выглядят как обычный набор серверов, подключенных к L3 коммутатору Ethernet и к коммутатору FiberChannel для доступа к SAN.
Все администрирование выполняется как с обычными серверами, плюс состоит в том, что это можно делать прямо из браузера - и узнать состояние системы (во всех подробностях: потребление питания, температуры в разных зонах, работа вентиляторов) и подмонтировать диск со своей машины (без необходимости бегать к стойке), ну и банально, виртуально увидеть "монитор" лезвия и кнопки питания/перазапуска нажать.

Дополнив эту корзину системой хранения данных и развернув на ней кластерную ФС типа GFS2, можно получить неплохую цифродробилку.

Comments

[DmitriKotov]

Ok, спасибо)

Answer 2

[Дмитрий]

Идти к профессионалам www.t-platforms.ru

Comments

[DmitriKotov]

Спасибо:)

Answer 3

[386DX]

render farm это набор серверов (или обычных системников) соединенных сетью. Память и процессоры у них не единые.

То что вы называете "мощный системник, содержащий до 8 CPU Intel Xeon(10-core)" это суперкомпьютер, у которого память и процессоры объединены и функционируют вместе. Он вам скорее всего не нужен, и у вас нет на него денег.

Разница в цене между этими решениями несколько десятков раз.

Я бы посоветовал потратить немного денег и заказать техзадание железа у людей, занимающихся этим, дабы потом не было мучительно больно.

Comments

[DmitriKotov]

Спасибо за Ваш ответ. По части суперкомпьютера вопрос заключался в информации о тепловыделении и месте закупки соответствующего корпуса. По остальным моментам вопросов нет. С ценой разберёмся:)

[386DX]

DmitriKotov: с тепловыделением все ОК если это будет в брендовом HP корпусе.
Для такого сервера нужны специальные "масштабируемые" процессоры XEON s8s они дороже чем обычные s2s+ брендовая материнка, 2-4 блока питания и.т.п поэтому решение будет гораздо дороже. Про "десятки раз" я наверно преувеличил.

Далее, конкретно то что по ссылке уже морально устарело .

[386DX]

386DX: Но стоит как самолет * завтра допишу, сейчас сплю уже.

[386DX]

386DX:
Nehalem-EX Westmere-EX

Memory Capacity
16x 240-pin DIMM sockets
Supports 1066 / 978 / 800M

Короче оперативка говно, а Nehalem-EX Westmere-EX это 11 г выпуска
Сейчас почти 2015 на дворе.

[386DX]

386DX:
конкретно вот этот проц, на я маркете его начали обсуждать в 2011 году
market.yandex.ru/forums?modelid=7334813&hid=91019&...

[DmitriKotov]

Да, действительно. Haswell получается намного более актуален. Согласен.

[DmitriKotov]

Спасибо большое, теперь расклад понятен:)

[386DX]

DmitriKotov: на самом деле Ивик
ark.intel.com/ru/products/75260
Посмотрите на ценник, таких надо 8 штук.

На самом деле, суть моего ответа, что нужно спрашивать у конкретных людей, занимающихся рендеренгом и серверами, что они используют чтобы не платить лишнего.
Я как минимум, не занимаюсь рендерингом, поэтому мой ответ впустую на самом дела.

[DmitriKotov]

Угу, спасибо)
Скорее всего выберем более дорогой, но масштабируемый вариант - стойку.
Ещё раз спасибо:)

[deleted-rss1alex]

Хеон морально устарел.

Answer 4

[DmitriKotov]

По-сути дела расклад теперь понятен:) После просмотра сайта t-platforms вопросов больше нет:)
Спасибо всем большое, за подробные ответы:)
Тему можно закрывать

Comments

[deleted-rss1alex]

Думай дальше. Новые ответы.

Answer 5

[Пума Тайланд]

Сходите к интегратору, вы с такими вопросами нагородите себе проблем больше чем решений.

Comments

[DmitriKotov]

Угу, ок.
Из толковых пока что видел только t-platforms (как я понял, интегратор - это те ребята, кто рассчитывают систему под конкретные нужды, во всех аспектах).

[deleted-rss1alex]

Не ходи к интегратору. Это - торговая точка с своим прилавком.

Answer 6

[Дэн Иванов]

Чтобы ответить на вопрос стоит изучить особенности самих рендеров, которые вы собираетесь пускать на данной ферме.
К примеру очень популярный vray при сетевом рендере не умеет пускать просчет light cache на нескольких машинах. В результате, на сложных сценах вы 40 минут на ведущей ноде считаете свет, а потом за 10 рендерите все остальное.
Касательно vray и GPU, есть модификация vray rt который гоняет и gpu и cpu.

А вобще, по личному опыту. Использование амазоновских виртуалок c3.8xlarge может оказаться очень выгодным решением, если не держать их постоянно включенными :)

Comments

[DmitriKotov]

Спасибо:)

Answer 7

[deleted-rss1alex]

www.tilera.com - cайт производителя. Сайт нового собственника не знаю. В каждом компьютере 8 процессоров. Можете смотреть 200-ядерные процессоры. В сервере получается 500 000 виртуальных ядер. Этот процессор был изготовлен до перекупки компании и устарел. После появились и 512-ядерные процессры. Не знаю, сколько в таком компьютере виртуальных ядер, предположительно в в 2 с половиной раза больше. Информация об этом процессоре устарела и, сорее всего, уже выпущен ещё более мощный процессор и не один ещё в разработке.

Можете сравнить с вычислениями в видекарте MSI Geforse Ti, установленными 4 в стойке. Выгоднее сейчас приобретать видеокарты. Процессоры быстрее видеокарт. Найдёте что-то новое - сообщите мне и ответ не удаляйте.

Comments

[deleted-rss1alex]

Перезадай вопрос про свое ПО в комментарии.