Какой СХД выбрать для виртуализации?

Question

[orl0ffrus]

Добрый день! Какой СХД подходит для хостинга виртуализации на VMWARE и пр? Также нужна поддержка SSD кэша, производительность само собой должна быть сильная. Начальный объем - 150 ТБ примерно. Нужна поддержка удаленной репликации. Было бы здорово наличие многих (16) FC портов, чтобы сэкономить на свитче.

Answer 1

[Алексей Черемисин]

Ух, вот зачем вам вот это все? Ставите CEPH на нескольких серверах и получаете щазтие. В кластере CEPH сеть делаете на 10Gb внутри и наружу.
Итого, на ваш объем я бы сделал так:
5-6 серверов по 8-12 дисков на SATA 4 Тб + SSD, с памятью по 64Гб, 2x CPU Xeon E5-2620v4.
Примерная цена конфигурации с дисками (8x SATA 4Тб + 4x SSD 1Tb) ~ 630Кр
Плюс коммутатор 10Гб ~ 100Кр

Всего: 3250 килорублей.

При этом получите очень функциональное хранилище для виртуалок! Кеширование на SSD и неубиенную систему! Да, расширяться - докупкой новых серверов в кластер (!). Ну и насчет VmWare, я бы посмотрел в сторону KVM.

ЗЫ. Систему считал на основе "Сервер Supermicro SSG-6028R-E1CR12T"

PPS. У нас примерно тоже самое, общий объем ceph ~ 120 терабайт.

Comments

[Дмитрий]

Всё-таки коммутаторов нужно два. А разве CEPH умеет кеширование на SSD?

PPS. У нас примерно тоже самое, общий объем ceph ~ 120 терабайт.

Что происходит с сетью и с клиентами при отвале одного CEPH сервера?

[Армянское Радио]

Дмитрий, умеет кеширование, причем в двух вариантах

В зависимости от количества реплик, можно терять столько серверов, сколько захотите.

Потеря сервера, укладывающаяся в количество реплик не оказывает влияния на клиентов

[Sanes]

Infiniband не лучше будет?

[Армянское Радио]

Sanes, не поддерживается официально, работает только на картах mellanox

[Алексей Черемисин]

Что происходит с сетью и с клиентами при отвале одного CEPH сервера?

Не далее как намедни с субботы по понедельник утро умер один из серверов ceph (40Тб сырых данных), никто ничего не заметил. Умер во время очень тяжелых расчетов с активным использованием распределенного хранилища.
PS. Кому надо по рукам надавали, если чо.

Infiniband не лучше будет?

Лучше! Несомненно, собственно он у нас и есть :-) Но на 10G эзернетах тоже все неплохо ползает.
И да, инфинибанд поддерживается официально, только юзайте IP-over-IB. А вот RDMA так и не пробовали. С другой стороны кроме мелланокса ничего путного и нет.

[orl0ffrus]

Спасибо, но колдовать c SDS не хочется. Пока рассматриваем две RAID системы с настроенной репликацией, поддержкой VMWare disaster recovery и т.д. Может кто-нибудь порекомендовать хранилку? Сейчас выбираем между QNAP и Infortrend EonStor DS с настроенной репликацией между двумя головами.

[Алексей Черемисин]

Руслан Орлов, зря вы так, поверьте, у нас это уже пройденный этап.
1) будете привязаны к вендору
2) будут проблемы с расширением
3) будет дороже
4) не факт, что будет быстрее

В результате, через пол года - год, все равно будете пробовать и внедрять. Вот таким образом у нас трудится в CEPH крутецкий IBM DS-3400 в режиме JBOD (!!!) с дополнительной полкой :-D
А начиналось все с мощной и дорогой GPFS.

Да и колдовать особенно не нужно. По руководству, CEPH в течении рабочего дня, с пивком, развертывается на 3/5/40 серверах, установка системы дольше занимает. Причем, на этих же серверах можно и виртуалки гонять.

Answer 2

[Андрей Семенов]

Недавно приобрели несколько OceanStore 5500 v5, 140Тб на SSD + шпиндельных дисках. Синхронная репликация работает между СХД по FC (нужна лицензия Hyper-Metro), протестировали, вроде неплохо. Стандартно там 4 FC порта, но есть слоты для расширения, наверно и до 16 можно увеличить. IOPS не измеряли, 25 SSDшек думаю выдадут сполна :)