Можно ли подключить к одному iSCSI несколько серверов потребителей?

Question

[grabbee]

Хостер дает iSCSI таргет выбранного размера. И к нему можно подключиться и создать там диски. Но там же в панеле управления и в документации они пишут

Warning: The iSCSI LUNs should only be installed on a single server at the same time. Apart from some very specific cases (adapted file system software supporting cluster mode, etc.), mount a LUN across multiple servers simultaneously will result in data corruption.

Я ещё не имею опыта работы с iSCSI. Это значит что мне нужно для каждого сервера покупать iSCSI отдельно? Я думал можно как то масштабировать нагрузку. Например два сервера картинок будут подключаться к одному iSCSI хранилищу. Получается что так сделать не получится?

Или я плохо читаю, и там написано про "очень специфические и редкие" случаи. А в обычном подключении все будет работать нормально?

Answer 1

[res2001]

Подключить можно. Но файловая система на общем томе должна быть кластерной, такие ФС как раз спроектированы для подобного использования. NTFS, Ext4 и т.п. не подходят. Например VMFS от VMWare кластерная.
Если вы подключите несколько потребителей к разделу iSCSI с обычной ФС, то достаточно быстро ФС упадет.

Comments

[grabbee]

То есть, до момента создания/форматирования диска нет никаких изменений. А уже там нужно выбрать что-то кластерное. Или не писать сразу отовсюду. А писать данные только из одного сервера, а остальные делать ридонли для масштабирования чтения данных.

[res2001]

grabbee, Да, только read-only надо делать на уровне ФС.
Тут еще будет вопрос в том, что стандартные ФС ничего не знают, что у них есть соседи по ФС и обычно кэшируют FAT, поэтому, когда RW сосед обновит данные на ФС (добавит/удалит файлы), его RO сосед может не сразу их увидеть.
У меня такого опыта не было, так что рассуждения чисто теоретические.

Answer 2

[ky0]

Можно - и именно так, например, реализуется общее хранилище для системы виртуализации Proxmox.

Но, как совершенно правильно сказано в вашем мануале, нельзя, чтобы одни и те же объекты трогали сразу из нескольких мест - и так не только у iSCSI. Обычно это решается на уровне приложения - каким-то образом (например, по сети) координируется доступ.

В режиме read-only с этим проще - нельзя покорраптить данные, если ты не вносишь в них никаких изменений. Если картинки для вашего хранилища будут записываться из одной точки - проблем быть не должно.

Comments

[grabbee]

А если в ситуации с разными серверами сделать две разные папки и один в первую будет читать и писать, а второй во вторую. Это тоже возможно и проблем не будет?

[ky0]

grabbee, не уверен, если честно, насчёт каталогов (в рамках одной ФС). Если бы были отдельные тома - то 100% проканало бы. Предлагаю уточнить у более прошаренных товарищей, я в этом не совсем настоящий сварщик :)

[Армянское Радио]

grabbee, нет, это невозможно, файловая система моментально превратится в фарш. Вам нужна кластерная ФС - OCFS2, например. Она специально предназначена для организации множественного доступа с разных серверов к одному блочному устройству

Answer 3

[Максим Корнеев]

Вы путаете теплое с мягким. iSCSI - блочный протокол доступа к дискам. LUN - способ организации хранения. В iSCSI может быть множество инициаторов и таргетов. Писать в LUN должен только один хост - LUN про хосты вообще ничего не знает, он запишет все что придет не разбира где что и результат не предсказуем.

Вобщем Вас предупредили, что Вы сами должны следить чтобы в LUN писал только один хост иначе возможно повреждение данных, читать могут несколько.

Вам дали консоль управления от СХД. Вернее ее кусочек. Если Вы можете там сами создавать LUN и связывать их с хостами - то что Вы хотите делается без проблем. Создаете в своем дисковом пуле луны нужного размера и назначаете их своим серверам, в серверах моунтите эти луны, создаете ФС и пользуетесь.

Comments

[grabbee]

Если я правильно понимаю, мне дают именно готовый LUN, на котором я могу только диски создавать. Сами LUN я делать не могу, только докупать по необходимости.

[Максим Корнеев]

LUN мапится в линухе:
ставите open-iscsi или iscsi-initiator-utils, зависит от версии линуха, погуглите под ваш.
iscsiadm -m discovery -t st -p "адрес_хоста"
iscsiadm -m discovery -m node -l
hot_add
fdisk -l
и смотрите каким устройством он подключился
создаете раздел/ы и ФС.
и мапите

[grabbee]

Максим Корнеев, сам LUN ведь на таргете будет. И он один. А дисков на нем я могу создать сколько захочу. То есть диски я могу раздать разным серверам свой. А вот LUN он же один единственный будет. И если два сервера будут использовать разные диски, то LUN и подключение к нему будет общее. А выше вы написали, что так делать нельзя.

[Максим Корнеев]

grabbee,
когда я спрашивал это у более опытных товарищей мне сказали что LUN подключить к двум хостам можно, но примаплен он должен быть только на одном. тоесть сделать так можно, сработает, но риск потерять все слишком велик.

разделы, ФС, файлы существуют только на уровне сервера. до СХД по iSCSI доходит только поток блоков данных и команд. что произойдет когда два сервера которые ничего не знают про то что у них общий диск (а LUN они видят как локальное блочное устройство) запишут в него данные - непредказуемо. SCSI - протокол 1978 года стех пор там поменялось только количество подключаемых устройств и добавилась инкапсуляция в IP (iSCSI - SCSI over IP). тогда так подключали локальные диски. тоесть там в принципе не предусмотрена возможность обращения к одному LUN разных хостов.