Загадка тормозного FibreChannel NAS?

День добрый.

Решили мы в компании перейти на серьёзные рельсы, чтобы всё «как у взрослых». NAS, SAN, FibreChannel и Hyper-V. Закупили оборудование, собрали, поставили и… упёрлись в проблему.


Если кратко, то проблема в производительности дискового хранилища — она плавает и падает до очень низкой.


Если полно, то читайте далее:

Итак дано:

2 шт NAS IBM DS3512 укомплектованные 12ю дисками SAS 15k на 600Гб каждый, маркированными как IBM (в реале вроде бы произведены Seagate и предназначенными именно для этой модели NAS). Так же в каждый NAS установлено по две (2 шт) карты FibreChannel 8Gbit, на 4 порта каждая. В железяке 2 «головы», имеющих независимый доступ к дискам, и соответственно по карте FC на каждую.

2 шт SAN FibreChannel Switched Fabric IBM SAN24B-5 так же с портами на 8Gbit.

3 шт сервера IBM 3550 M4 7414-F2G. В каждый сервер установлено по FibreChannel карте производства Qlogic на 2 порта 8Gbit. Внутри тоже SAS винты.

Всё фирменное, совместимое, собранное по рекомендациям лучших собаководов и вендоров.


На NAS-ах из всех 12-и винтов собран RAID5 и презентован в SAN. На RAIDе создан 4Тб раздел (GPT, NTFS) и пара разделов поменьше.

На серверах сейчас стоит Windows 2012 Server (180-trial). Драйвера ко всем железкам самые свежие, с офф.сайта IBM.


Для простоты картины будем рассматривать один сервер, один switch, и один NAS. Всё остальное в эксперименте не учавствует.

Тест:

Берём объемный файлик, например 4-8Гб, лежащий на винте сервера. Средствами винды копируем его на раздел, который презентован с NAS-а и наблюдаем эффекты.

1) Первые 1-2-4 секунды копирование идёт со скоростью 300-800Мбайт/сек. Потом плавно или резко падает до 30-60Мбайт/сек и плавно снижается далее. Впрочем иногда успевает на полной скорости скопироваться весь файл.

2) До и после копирования возможно замирание, когда окошко копирования висит и не реагирует на мышь длительностью до 1-20 (иногда больше) секунд. Иногда этого замирания нет.

3) Во время копирования NAS интенсивно мигает лампочками винтов. Когда окошко копирования «висит» — индикаторы активности дисков на NAS не мигают и не горят

4) При попытке удалить свежескопированный на NAS файл, окошко удаления замирает на 20-50 секунд, затем только удаляет файл.

5) Пробовали копировать файл лежащий на NAS на него же, но в другую папку — проблемы аналогичные.

Дисклеймер или «мы уже пробовали»:

— Подключать сервер и NAS напрямую, минуя Switch.

— Оставлять подключенным к NASу один единственный сервер по одному единственному линку.

— Делать всё тоже самое с другим NAS-ом, и другим сервером.

— Ставить Windows Server 2008 R2.

— Делать раздел на хранилище меньшего объема — 500Гб (GPT).


Спецэффекты наблюдаются всё те же.


Что это может быть? Куда смотреть, куда копать?


P/S Простите за терминологию. Мог попутать термины для обозначения железяк, но в целом картина верна.