• VNX5500, Storage Pool offline. Есть шанс поднять?

    @muggerzoom
    Добрый день!
    Мучаю VNX 5200, имеем Pool 0(offline) и Private Lun's (offline) - 2 шт.
    Подключился через сервисный порт и создал dialup соединение,
    далее попал по ssh в консоль (Clariion, RemotelyAnywhere SSH Server OpenSSH 6.6),
    вижу что у нас Microsoft Windows 6.1.7601 (Win7) в корне есть каталог EMC (C:\EMC)
    Не нашел fcli, искал по fcli и flarecons, зато нашел в каталоге C:\EMC кучу консольных утилит
    C:\EMC\Base\05330095.186\flare_driver\bin - ApmCli.exe, fbecli.exe, IdmCli.exe, MigCli.exe, PerResTool.exe
    Думаю fbecli.exe - это и есть наш fcli и flarecons
    Через MluCLI и NaviSecCli - думаю, перебрал все возможные варианты, к сожалению где-то циклично идет удаление (при вводе команды, постоянно спрашивает хотите удалить), где то пишет что мол удалил но при проверке видим что все на месте (наши offiline на месте).

    naviseccli lun -destroy -l 0
    Are you sure you want to perform this operation?(y/n): y
    
    naviseccli storagepool -destroy -id 0
    Are you sure you want to perform this operation?(y/n): y
    Caller not privileged.
    
    mlucli destroyingpool -srvc_cmd -poolid 0
    
             Received Error Code = 0x712d8503
             Error: Could not destroy Slice Pool 0x0
    
    
    mlucli removeflu -srvc_cmd -poolid 0 -lun 0
    
             Received Error Code = 0x712d8503
             Error: Could not remove flu from slice pool 0 (0x0) Status 0x712d8503.
    
    
    mlucli deletepool -srvc_cmd -poolid 0 -force
    
             Received Error Code = 0x712d8801
             Error: Could not delete Slice Pool 0x0
    
    
    mlucli getpoolprop -poolid 0
    
             Received Error Code = 0x712d8503
             Error Description = K10MLUAdminLogicalGet(): Poll Failed for Complete Object !
             No response received!! Status=0x712d8503
             Error: Could not get properties for Slice Pool 0x0.
    
    mlucli shrinkpool -srvc_cmd -poolid 0 -lun 0
    
     getpoolstats -revid <Revision ID> -poolid <Pool ID>
    mlucli getpoolstats -revid 0 -poolid 0
    
             Error: Could not get stats for slice pool 0 0x57.


    FLU_WWN поможет очистить кеш командой: mlucli clearcachedirty -srvc_cmd -revid 1 -wwn ..
    Узнал его через fbecli.exe -> ls и li -lun 0-5, но это служебные lun моего pool0. - они очистились.
    Ниже лог попытки очистить свои lun's - в поиске правельных FLU_WNN - думаю их нет.
    C:\EMC>mlucli clearcachedirty -srvc_cmd -revid 0 -wwn 60:06:01:60:49:a0:46:00:a1:09:ab:53:f4:96:e8:11
    
    Error: Could not handle clearing Cache-Dirty status of FLU 60:06:01:60:49:a0:46:00:a1:09:ab:53:f4:96:e8:11. 0x2


    C:\EMC>mlucli destroylu -srvc_cmd -poolid 0 -lun 0 -force
    
    K10 -- User-space Message Passing Service (UMps)
    Compiled for Free (Retail) Build
    
             LU in Slice Pool 0x0 is unbound successfully.
    
    C:\EMC>mlucli getowner -all
    LU Number   VU OID      WWN                                               Current Owner
    =========   =========   ===============================================   =============
            0   A00000001   60:06:01:60:49:a0:46:00:53:f3:37:3a:f4:96:e8:11   SPB
            1   A00000002   60:06:01:60:49:a0:46:00:a1:09:ab:53:f4:96:e8:11   SPB

    Команда: mlucli objectops -b_careful -info -oid 0x300000001 - видит что у меня есть два lun в состоянии private state, а также вижу
    Existant Dependent Objs: 8
                    0x400000001
                    0x400000002
                    0x400000003
                    0x400000004
                    0x400000005
                    0x400000006
                    0x200000001
                    0x200000002.

    Думаю первые 6 строк это служебная информация о моих LUN, и оставшиеся еще 2 строки (0x200000001 и 0x200000002) это мои LUN.

    PS: Правельный oid стоит посмотреть через комаду mlucli polllu - строка Slice Pool ID ( у меня это 0x300000001)
    mlucli objectops -b_careful -info -oid 0x300000001
    
            MLU OBJECT INFO:
            Private State: 2
            Public State:  Error
            Target State:  Ready
            OwnerShip Model:  Object Mgr Controlled
                    Leader Object: 0x0
            Status: 0xe12d8514
            Existant Dependent Objs: 8
                    0x400000001
                    0x400000002
                    0x400000003
                    0x400000004
                    0x400000005
                    0x400000006
                    0x200000001
                    0x200000002
            State Dependent Objs: 0
    
            Operation Completed Successfully.
    
    mlucli objectops -b_careful -info -oid 0x400000001
    
            MLU OBJECT INFO:
            Private State: 2
            Public State:  Error
            Target State:  Ready
            OwnerShip Model:  Follow Leader
                    Leader Object: 0x300000001
            Status: 0xe12d8516
            Existant Dependent Objs: 0
            State Dependent Objs: 0
    
            Operation Completed Successfully.
    
    mlucli objectops -b_careful -info -oid 0x200000002
    
            MLU OBJECT INFO:
            Private State: 2
            Public State:  Error
            Target State:  Expired
            OwnerShip Model:  Object Mgr Controlled
                    Leader Object: 0x0
            Status: 0xe12d8514
            Existant Dependent Objs: 0
            State Dependent Objs: 0
    
            Operation Completed Successfully.


    C:\EMC>mlucli getdriverprops
    
    ====================================================
                 MLU Driver Properties
    ====================================================
    
     Driver Version                         : 360
     Debug Level                            : DEFAULT
     Driver State                           : Ready
     Max. Pools                             : 15
     Max. LUs                               : 1000
     Max. LU Size                           : 549755813888 Blocks
     Min. LU Size                           : 1 Blocks
     Max Drives per Pool                    : 121
     Max Drives per Operation               : 80
     Max Drives in All Pools                : 121
     Max. Alias LUs                         : 8
     Current Pool Count                     : 1
     Current FLU Count                      : 6
     Current LU Count                       : 2
     Current TLU Count                      : 0
     Current DLU Count                      : 2
     Current SliceAdder Count               : 0
     Current ExistenceDependency Count      : 8
     Current Number of Drives in All Pools  : 3
     Compression                            : NOT Enabled
     Auto-Tiering                           : NOT Enabled
     Virtual Provisioning                   : NOT Enabled
     Background Task                        : NOT Running
     Background Task Rate                   : 0 (Medium)


    Из команды выше видим что у нас 6 шт. FLU - как отобразить ID этих FLU?
    Сейчас встал пропрос как найти FLU_WWN?, LU_WWN - это немного другое.
    Подскажите куда копать чтобы-узнать FLU_WWN?
    Требуется просто удалить offline(pool и private lun)!!

    PS: Стостояние Pool: "Status: An internal error occurred resulting in a Pool lun going offline. (0x712d8514)"
    Также можном увидеть это состояние по командам:
    naviseccli storagepool -list
    naviseccli lun -list
    mlucli polllu
    
    UID:  60:06:01:60:49:A0:46:00:A1:09:AB:53:F4:96:E8:11
    LU WWN: 60:06:01:60:49:a0:46:00:53:f3:37:3a:f4:96:e8:11

    Одна команда пишет что это UID, другая команда что это LU WWN,
    нужна команда которая покажет FLU WWN... отзовитесь люди.... команда mlucli mpoll - не работает

    Добрался до так называемых fcli и flarecons, а именно:
    C:\EMC\Base\05330095.186\flare_driver\bin\fbecli.exe
    Повысил уровень прав: (пробывал acc -m 1 и access -m 1, обе команды повышают уровень)
    FBE_CLI>acc -m 1
    FBE_CLI>ls
    Type    Obj ID       ID    Object Info    Lifecycle State  Downstream                        Drives
                                                               Objects
    -----------------------------------------------------------------------------------------------------------------------
    пропустил лог выше...думаю это служебная информация о lun системы
    Unknown  0x103 :259   SPECLZ
    LUN      0x108 :264   0     381536 MB       FAIL             263                               (FAIL) (FAIL) (FAIL)
    LUN      0x109 :265   1     381536 MB       FAIL             263                               (FAIL) (FAIL) (FAIL)
    LUN      0x10a :266   2     381536 MB       FAIL             263                               (FAIL) (FAIL) (FAIL)
    LUN      0x10b :267   3     381536 MB       FAIL             263                               (FAIL) (FAIL) (FAIL)
    LUN      0x10c :268   4     381536 MB       FAIL             263                               (FAIL) (FAIL) (FAIL)
    LUN      0x10d :269   5     381433 MB       FAIL             263                               (FAIL) (FAIL) (FAIL)
    FBE_CLI>

    Выше log - вынул три диска на которых pool и lun, ниже log - вернул на место диски.
    Смущяет строка с Unknown 0x103 :259 SPECLZ, так же думаю 6 ниже строк это FLU - служебные для моих LUN
    Unknown  0x103 :259   SPECLZ
    LUN      0x108 :264   0     381536 MB       READY            263                               0_0_6  0_0_5  0_0_4
    LUN      0x109 :265   1     381536 MB       READY            263                               0_0_6  0_0_5  0_0_4
    LUN      0x10a :266   2     381536 MB       READY            263                               0_0_6  0_0_5  0_0_4
    LUN      0x10b :267   3     381536 MB       READY            263                               0_0_6  0_0_5  0_0_4
    LUN      0x10c :268   4     381536 MB       READY            263                               0_0_6  0_0_5  0_0_4
    LUN      0x10d :269   5     381433 MB       READY            263                               0_0_6  0_0_5  0_0_4
    FBE_CLI>

    Ниже wwn - это и есть наш FLU_WWN - по ним очистил кеш, через mlucli.exe - но все же удалить злополучные lun не могу... помогите.... ааа...
    FBE_CLI>li -lun 0
    Lun information:
    ----------------
    Logical Unit:    0
      Lun Name:        Virtual Disk_63993
      Raid type:       0x5 [RAID-5]
      Lifecycle State: 2 [READY]
      Lun Object-id:   0x108
      Offset:          0x0
      Capacity:        0x2ddb9200
      world_wide_name: 60:06:01:60:0a:a0:46:00:57:ae:b0:b3:f3:96:e8:11:
    Ответ написан
    Комментировать