Ответы пользователя по тегу Сеть хранения данных
  • Организация сети для Ceph кластера?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Для клиентской сети хватит и гигабита. А вот для сети хранилища очень желательно как минимум 10 гигабит. Иначе будут страшные лаги по сети. На счет vlan даже и не думайте! Два независимых адаптера, ну или один на 10гигабит, разделенный на два srio на vlan-ы! У нас кластер вообше на infiniband 56ги, и то иногда пропускной способности не хватает.
    И не жалейте денег на сеть, ее всегда мало! Скйчас за 100килорублей можнл и карточки и коммутатор купить для 10гиг. И оптика не нужна, если все в одной серверной. Да и оптика иногда дешевле выходит, чем медь! Совсем она не дорогая!
    Ответ написан
  • Какой сервер хранения данных выбрать?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Рекомендую посмотреть в сторону распределенных хранилищ, в частности - собрать CEPH-кластер. Серверов у вас много. Вы их свяжете между собой 10G сетью, поставите iSCSI на раздачу, а в некоторых случаях, если клиенты будут под linux, то и напрямую подключите. Будет у вас распределенное хранилище на все диски сразу. Можно будет сделать и кеширование на SSD, и прозрачное добавление дисковых ресурсов, и прозрачное восстановление и кучу всего хорошего.
    Есть, правда, небольшие требования к серверам, по гигабайту RAM на терабайт диска. Если втыкаете 24 диска по терабайту, то ставите 24 гига памяти. Но это не проблема. При этом вам совсем будут не нужны RAID-карты, достаточно обыкновенных HBA и экстендеров. За каждым диском отдельно будет следить и администрировать сам CEPH. Он же будет делать дублирование и распределение данных по дискам и серверам кластера. Производительность будет заведомо лучше, чем при записи на отдельный сервер, так как запись.чтение происходит параллельно на несколько серверов кластера.
    Дополнительно получите снапшоты, гибкость управления и очень хорошую отказоустойчивость.
    Ответ написан
  • Какой СХД выбрать для виртуализации?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Ух, вот зачем вам вот это все? Ставите CEPH на нескольких серверах и получаете щазтие. В кластере CEPH сеть делаете на 10Gb внутри и наружу.
    Итого, на ваш объем я бы сделал так:
    5-6 серверов по 8-12 дисков на SATA 4 Тб + SSD, с памятью по 64Гб, 2x CPU Xeon E5-2620v4.
    Примерная цена конфигурации с дисками (8x SATA 4Тб + 4x SSD 1Tb) ~ 630Кр
    Плюс коммутатор 10Гб ~ 100Кр

    Всего: 3250 килорублей.

    При этом получите очень функциональное хранилище для виртуалок! Кеширование на SSD и неубиенную систему! Да, расширяться - докупкой новых серверов в кластер (!). Ну и насчет VmWare, я бы посмотрел в сторону KVM.

    ЗЫ. Систему считал на основе "Сервер Supermicro SSG-6028R-E1CR12T"

    PPS. У нас примерно тоже самое, общий объем ceph ~ 120 терабайт.
    Ответ написан
  • Что лучше использовать для корпоративного хранения данных?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Если только для чтения и добавления, делаете webdav, например на базе apache. Если просто нужно скачивать файлы, то выложите их на web, в виде папочек, здесь подойдет любой веб-сервер, хоть апач, хоть nginx, хоть lighttpd. Загружать можете и по ftp. Любой веб-сервер поддерживает авторизацию, хоть по ldap, хоть из файлов, а безопасность можно и по https устроить. Да, не забыть на веб-сервере включить просмотр каталогов.

    PS. Есть еще протокол S3, и хорошая реализация сервера хранения - minio.io https://habrahabr.ru/company/southbridge/blog/324086/ - статья на тему
    Ответ написан
  • Как подключить SAN к сети?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Выделите отдельную подсеть для san, и в отдельные адаптеры.
    Ответ написан
  • Программное отказоустойчивое хранилище?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    У нас работает CEPH, диски при ребалансировке не умирают! В самом хранилище сейчас 119Тб на 21 OSD в 5-и серверах.
    Полет нормальный уже 3 года.
    Для ceph желательно 3 ноды минимум. Само хранилище очень удобное и гибкое.
    Если хотите получить хорошую скорость, то для интерконнекта внутри ceph берите ethernet 10Гб (у нас 20/40Гб инфинибанд) карточки и 1/10Гб карточки на клиентов.
    В принципе, поднять новый кластер ceph, дело 15 минут, но нужно быть аккуратным при установке.
    Задавайте вопросы, отвечу.
    Ответ написан
  • Какую выбрать файловую систему для большого тома?

    leahch
    @leahch Куратор тега Linux
    Я мастер на все руки, я козлик Элек Мэк :-)
    XFS, очень даже ничего. Можно и EXT4. Разница небольшая. Пользуем и ту и ту. Ну а скорость чтения в основном зависит от скорости массива.

    Вынес: Ну а вообще-то порекомендую все делать в хранилище типа Ceph, у нас как раз оно и развернуто на 5 серверах с объемом 100тб. Интерконнекты по infiband, внешняя 1/10Gb. В Ceph можно лить по типу S3 - скорость будет чумовая, у нас в пике порядка 7-8GB/s (гигабайт в секунду!) на клиента.
    Ответ написан
  • Где почитать о фичах систем хранения данных?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    О статейках не не скажу, гугль в помощь.
    А по делу, "late allocation" - ленивая аллокация, когда программа пишет в на СХД, но запись на диски происходит не сразу (и выделение места под сами данные), а после достижения некоторого порога в буфере или вообще асинхронно, или выбеляется блок данных только после окончания записи или сброса буферов на носители. В разных системах может быть реализовано немного по разному. Увеличивает скорость записи, так как не нужно постоянно перетрясать таблицу занятийх блоков.
    А вот и статья - https://ru.wikipedia.org/wiki/%D0%9E%D1%82%D0%BB%D...

    "sparse placement" - разряженное размещение, когда реально выделяется память (дисковая) только под реально записанные данные. Например, создал файл на 1 гиг, а записал в него 10 кило, место выделится только под реальные блоки данных. Иногда бывают интересные эффекты, когда данных больше, чем реальное заполнение хранилища.
    Ответ написан
  • Можно ли монтировать LUN'ы как NFS?

    leahch
    @leahch Куратор тега Linux
    Я мастер на все руки, я козлик Элек Мэк :-)
    Нет, не увидят. Точнее увидят, но через некоторое время будет каша из данных. Все дело в том, что файловая система живет не только на диске, но и в памяти компьютера, который сделал изменения.
    Вам нужна распределенная файловая система для этого, когда компьютер, сделавший изменения данных, сообщает о них своим партнерам, а партнеры уже обновляют измененные данные.

    Представим ситуацию, А создал файл в каталоге, а В перед этим читал этот каталог. В закешировал содержимое каталога и никогда не узнает, что в нем появился новый файл. В случае же распределенной FS, А после создания файла говорит В, чтобы он перечитал каталог.

    В вашем случае вариантов несколько.
    1) Развернуть GPFS (IBM, платная) или OCFS (Oracle) - это типы shared FS (используется одно хранилище, об изменениях сообщается всем)
    2) Развернуть Gluster, lustre, CephFS или что-то подобное - distributed FS (используются отдельные хранилища, об изменениях сообщается всем, данные могут реплицироваться).
    3) Если данные не завязаны на файлы - использовать распределенные хранилища/базыданных типа Сeph, S3, Mongo и т.д.
    Ответ написан
  • Как подключить полку дисков без свитча к двум серверам?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Выкручивать руки multipath, та как скорее всего сама система не распознает подключение как одного диска. У нас подобная конфигурация с ds3400, работает без свича напрямую на два сервера...
    Ответ написан
  • Сколько нужно пропускной способности SAN по iscsi при 1000iops?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    "А не посчитать ли нам, уважаемые Кроты" (Дюймовочка).
    1000 iops = 1000 операций ввода вывода в секунду. Предположим, что у нас 80/20% чтение/запись блоками по 128 килобайт. Так как чтение/запись у нас полнодуплексная, то примем 128*8*800 = 819200 килобит или 800 мегабит на чтение. Ну, это в теории, на практике еще нужно учесть накладные расходы на протоколы, а это прибавить от 20 до 60%.
    Ответ написан
  • Как выбрать конфигурацию для системы видеонаблюдения?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Вариантов как всегда несколько:
    1) Отдельный NAS/SAN типа Netapp с кучей полок с подключением по smb/nfs/iscsi (простое внедрение, расширяемо, дорого, вендорозависимо)
    2) Каждый сервер со своим локальным хранилищем на дисках - сервер с 16x4Тб дисков в массиве RAID10 (очень простое внедрение, нерасширяемо, неотказоустойчиво, дешево, неоптимальный расход дисков)
    3) Строить самому хранилище на основе CEPH например (расширяемо, отказоустойчиво, вендоронезависимо, свободно)

    Вот по третьему варианту (CEPH) есть два варианта:
    1) Отдельное хранилище, к которому клиентами подключаются сервера, аналог первого варианта.
    Каждый сервер хранилища будет иметь: 16х4Тб дисков SATA, 64Гб RAM, два порта 10Гб и/или 40Гб infiniband (по стоимости одно и тоже), процессор любой ксеон.
    2) Совмещенное хранилище, каждый сервер хранилища дополнительно запускает виртуалку(ки) с trassir. Конфигурацию каждого сервера увеличиваем на более производительный процессор на 8 ядер и добавляем памяти для трассира.
    Типа: 2x Xeon 2680v2, 96Gb RAM, 16х 4Tb SATA.
    В этом случае виртуалки могут мигрировать туда-сюда с сервера на сервер абсолютно безболезненно, прикручиваете дополнительно pacemaker и будет полный HA с аптаймом пять девяток!

    У нас CEPH держит сейчас 118 терабайт, полет нормальный. Клиенты и виртуалки (KVM) и NFS/SMB.
    Ответ написан
  • Не дорогая система хранения данных. Что выбрать?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Я бы поступил проще (точнее так и сделали). Взяли RAID с возможностью расширения полками JBOD с подключением по SAS, подключили его к раздающему серверу с 10gb через PCI-e адаптер. Всё вместе уложилось на 48Тб в ~500К руб.
    И да, 48Тб это по дискам, если в RAID5/50, то будет меньше (но смотрите линейку производителя, в Ваш бюджет можно уложиться в и 48Тб RAID50).

    Примерная калькуляция:
    - сервер 1U Supermicro SYS-6017R-72RFTP, E5-2603V2, 16Gb ECC RAM. (2GE+2x10Gb onboard) ~ 100K руб.
    - RAID Axus Yotta III 16 drive (16x3000Тб), адаптер PCE-e в комплекте ~ 400K руб.

    Плюсы - RAID отдельно, сервер отдельно, независимость от ПО на NAS, высокая скорость работы, возможность расширения, "дёшево" и сердито.
    Минусы - ОС на сервер и ПО типа iSCSI и прочего ставится и настраивается ручками, нужно мониторить и RAID и сервер, две точки отказа.

    PS.!!!!! Оба-на! AXUS не берите (а мы лохи!). Они объявили 6-го августа, что с 30 сентября прикрывают бизнес :-(
    Посмотрите на системы хранения Promise.
    Ответ написан
  • Как правильно собирается СХД ?

    leahch
    @leahch
    Я мастер на все руки, я козлик Элек Мэк :-)
    Про нетапп попробую ответить. Fas8060 расширяемая система, контроллер дисковых полок, с возможностью работы в кластерной кофигурации.
    1200 дисков - максимальное число дисков вместе с подключенными дисковыми стойками (jbod).
    120gb - внутренняя память контроллера дисков (там еще есть nvram-память на 18тб! - типа гиганского SSD диска, для кеширования и/или хранения)
    Uta2 - универсальный контроллер ввода/вывода, может работать как 10gb ethernet или как 16gb FC. Контроллер сдвоенный, в fas 8060, если не ошибаюсь, таких котроллеров 8 штук.
    Контроллер расширяется несколькими путями, подключением дополнительных дисковых полок jbod, интерконнектом с подобной системой fas8xxx по инфинибанд 40gb или по сети ethernet/FC, подключением других СДХ по поддерживаемым протоколам.
    Несколько контроллеров могут образовывать кластер СДХ (cloud storage).
    Ответ написан