Xenserver: как подключить большое хранилище?

Question

[dovecot]

Здравствуйте!


У Xenserver 6.2 есть ограничение на максимальный размер подключаемого блочного устройства — 2 Тб. А как поступить если у меня хранилище на 100 Тб. Не подключать же 50 блочных устройств?


Спасибо!

Answer 1

[merlin-vrn]

Судя по вашему нику предполагаю: почту хранить соираетесь? :)

Хранилище физически подключено к самому серверу? iscsi, например, не прокатит?

Answer 2

[dovecot]

Как раз iSCSI и используется.

Answer 3

[track]

Используйте NFS.

Comments

[merlin-vrn]

так NFS — это не блочное устройство

[track]

Не блочное. Но автор пока не объяснил, зачем ему именно «блочность», а в реальной жизни задач, для которых нужно только блочный доступ к секторам диска и никак иначе — не так много.

[dovecot]

Используется хранилище DELL Powervault, которое умеет только iSCSI.

[track]

Powervault на 100TB? А не крякнет, лошадка-то? ;)

[dovecot]

а чего ей крякнуть? или что Вы имеете ввиду?

[track]

Так дофига это, 100 TB, если это не домашнюю коллекцию фильмов хранить. Емкость-емкостью, но вам же это читать и писать придется.

Впрочем, если вы про MD3, тогда возможно и потянет. Но все равно, учитывайте, что если речь идет не про архивное хранение, то… 100TB дисками-то поди SATA на 4TB?

[dovecot]

MD3660i, а вообще это хранилище с полкой/полками — до 192 Тб.

[merlin-vrn]

А что мешает подключать хранилище к гостю, а не к хосту? Пусть гость знает, что это iscsi или nfs. Хосту вообще будет неведомо, для него это будет сетевой трафик.

[dovecot]

Ну вот судя по всему так и придется делать, потому как иными способами достичь 50 Тб на виртуальную машину не получается. + немного нужно будет поиграться с multipath на гостевой машине.

[track]

Вы главное не забывайте, что «поддерживает» неравно «работает». Оно может работать так, что вы сами этого не захотите.
Чем вы будете эти 100TB защищать от дисковых сбоев? RAID-6? Какой длиной группы? С какими дисками, какой емкости?

Мне кажется, что вопрос «как подключить» в данном случае не настолько важен, как то, что вы будете с ними делать и как. Если вы найдете для себя ответ на этот вопрос, то может и подключать уже ничего будет не надо. Так что правильно поставленный вопрос — половина ответа. :)

Впрочем, ответ уже явно выходит за рамки заданного автором вопроса.

[merlin-vrn]

Зачем multipath на гостевой машине? Я понимаю — на хосте. Пусть хост к хранилищу будет подключен с использованием LACP.

А гостю-то об этом зачем знать?

[dovecot]

track, я с Вами полностью согласен. Работа с разделами таких размеров не всегда тривиальная задача. Одному из наших подразделений необходим FTP сервер/CIFS для хранения «сырого» видеоматериала. 50 Тб они выберут немного более чем за год. Загрузка/выгрузка видео будет производиться через специализированное ПО (видео менеджер). На вопрос о том, нормально ли он пережует раздел такого размера был получен ответ — нормально. А как по другому отдать столько места под хранение? Диски по 3Тб, RAID-6, группа — 20 дисков.

Что касается multipath на гостевой машине, то у хранилища два контроллера и без multipath я смогу работать только с одним контроллером и при выходе его из строя получим недоступность всего сервиса.

[track]

Спасибо, это важное дополнение, про характер и способ доступа, потому что по дефолту предполагается (мной по крайней мере), что это будет рандом мелкими блоками, как обычно и работает большая ферма виртуализации, на таком workload такой сторадж загнется сразу же, а в вашем случае, скорее всего, будет нормально, по крайней мере сам сторадж такую задачу потянет.
Интересно, а сам видеоменеджер не умеет работать с пространством, разбитым на множественные разделы?

[track]

Но, откровенно говоря, все проблемы вы начали с того, что взяли неправильный инструмент. Завинчивать гвоздь отверткой и забивать шуруп кружкой — неудобно :)
На самом деле вам нужен под эту задачу NAS, а не iSCSI storage. При стоимости решения на 100TB я бы на вашем месте пересмотрел бы выбор стораджа, если это возможно. Сейчас вы с большими потерями и неизбежным оверхедом просто делаете из него это же самый NAS, вместо того, чтобы пойти и взять уже готовый.

[dovecot]

Все верно, но… Этого не было указано ранее, хранилище приобретается не только под эту задачу. Хранилище забито емкими и относительно медленными дисками для медиа хранилища, быстрыми SAS для виртуализации, и др.

Ну и NAS наверное не дал бы такой гибкости. Например, возьмем Win Server 2008, подключим к нему блочное устройство. На нем будет внутренний сервис FTP+CIFS. С помощью AD можно будет очень гибко реализовать политики доступа.

[track]

Ну почему вы так думаете? В современных NAS есть все это, и работает ничуть не хуже, чем в Windows.
Просто вы идете к цели кружным путем. Вам нужен файловые пртоколы на много дисков. Но вместо прямого пути — NAS, вы берете отдельно блочный сторадж, а потом превращаете его в NAS внешним сервером. По мне так прямой путь имеет меньше оверхеда, как в производительности, так и в деньгах.

[merlin-vrn]

NAS с участием в AD, нормальной поддержкой SMB2, Windows ACL? Назовёте?

[track]

NetApp вестимо. Ну или EMC VNX. Но я, если вы посмотрите в историю моих постов, стою за первого. :)

[merlin-vrn]

Да я не сомневался, я хорошо помню ваш след на этом ресурсе, спор по поводу мегабайтов и этих ублюдских мебибайтов, по поводу софтраидов RAID6 в линуксе и так далее ;)

Я же не зря зря попросил «нормальную поддержку SMB2». Неужели кто-то сделал? С другой стороны, шесть лет уже прошло, могли уже и сделать…

[track]

SMB 2—Next-Generation CIFS Protocol in Data ONTAP
Bingxue Cai, Reena Gupta, NetApp
TR-3740
C 2009 года есть уже.

Даже SMB3 есть, правда пока лишь в Cluster-mode
Microsoft Hyper-V over SMB 3.0 with Clustered Data ONTAP: Best Practices
Pavel Lobanov, John Reed, NetApp
May 2013 | TR-4172

Answer 4

[track]

А вообще вы все напутали. Ограничение в 2TB есть, насколько я знаю, только для партиции, с которой Xen Server загружается сам.

Comments

[merlin-vrn]

Вообще в support.citrix.com/article/CTX137837 указано, что для любых вообще. Даже NFS, хотя это и не блочное устройство.

Или это имеется ввиду размер «образа тома, хранящегося на NFS» — не понимаю.

[track]

Вы путаете LUN, подключаемый к XenServer как хранилище для VM, и виртуальный диск самой VM.

[merlin-vrn]

Нет, по ссылке есть список ограничений для VM и для хоста. 2 Тб указано в списке ограничений именно для VM, для хоста значение другое.

[track]

Для хоста по стораджу указано ровно одно ограничение — Concurrent active virtual disks per host — 512

[merlin-vrn]

Ага, т.е. по объёму ограничения нет (сколько линукс умеет, столько и можно).

Почему-то я подумал, что вопрос из топика — о том, как подключить больше 2 Тб к виртуалке. Перечитал, убедился, что про виртуалку ни слова.

[dovecot]

Если говорить о задаче в целом, то необходимо получить виртуальную машину (Linux) с дисков 50 Тб. Первый вариант решения: подключение LUN'а такого раздела к Xenserver, а потом отдача его виртуальной машине. Но есть описанные выше ограничения. Второй вариант: создание вирутальной машины с небольшим диском и подключение LUN'а непосредственно к ней, минуя Xenserver.

На сколько красивое второе решение?

[track]

RDM, Raw Device Mapping, это вообще не сильно рекомендуемое любым вендором гипервизоров решение. Надо смотреть на ограничения в XenServer для такого варианта.
А вариант сделать столько сколько надо LUN-ов, а потом в каком-нибудь LVM в VM, раз у вас все равно Linux, слепить из них что надо, хоть простым concatenate — не подходит?

[merlin-vrn]

50 LUNов потребуется. Столько пробросить нельзя.

[track]

25 по 2TB даст как раз 50 (ну, с учетом гибибайтов). Разве там есть ограничение на число виртуальных дисков на одну машину?

[merlin-vrn]

Да, 7 дисков (включая CDROM).

Answer 5

[ReBlock]

Такого ограничения нет в XenServer. Я подключал луны и по 20 Тб как по iSCSI так и по фибре. Ограничение в 2 Тб имеет место быть в отношении проброса vdisk'а внутрь VM, и то, через консоль руками, это обходится.