FreeBSD и ZFS

Question

[Vadim Rybalko]

Как знают многие, есть такая ОС: FreeBSD. Плохая она или хорошая неважно, это выходит за рамки этого опросника. Любителям написать что-то типа «FreeBSD — RIP» просьба прогуляться на ЛОР и оставить эту надпись там.
Также, есть такая файловая система под названием ZFS, разработка недавно съеденной Sun Microsystems. Файловая система крайне интересная и достаточно замечательная.

Я — системный администратор ХабраХабра и в скором времени планирую достаточно серьезный апгрейд серверного хозяйства. Среди идей имею идею использовать ZFS. Недавно я стал тестировать ZFS на FreeBSD 8.1-RELEASE. Полет нормальный, кернел паников не было ни разу, скорость удовлетворяет. Но в интернете весьма разные отзывы, порой просто неадекватные. Уровень абстракции файловой системы просто потрясающий, разделами можно рулить как хочешь прямо на лету; скорость хорошая, местами быстрее UFS2+SU, да и развернуть ее тоже очень просто. Радует изкоробочная компрессия разделов, снапшоты и прочие полезности. Я ее поднял на своем тестовом сервере: все работает нормально, никаких проблем не замечал.

Но все таки хочу узнать мнения тех, кто непосредственно сталкивался с разворачиванием ZFS на боевом сервере под управлением FreeBSD и использовал такую связку под реальной нагрузкой достаточно много времени. Синтетические тесты тоже интересны, но в меньшей степени, ибо синтетические такие синтетические. Да: я использую только стабильные сборки ОС, опрос относится в большей мере к ним.

Answer 1

[pepelac]

Около года FreeBSD c ZFS в продуктиве на файловом сервере. Средняя отдача — 1ТБ трафика в сутки. Сервер: CPU — 2xOpteron 2214, Mem — 32G, контроллер — AMCC 9650SE-12M, диски — Seagate серии NS, 10-12 штук + SSD Intel X25-M под кэш устройство. Ни одного зависания связанного с ZFS за всё время работы сервера. Единственная проблема — замена отказавших дисков в raidz. Делаешь replace диску, пул резилверится на новый диск, а старый не уходит из конфигурации. Находил PR по этому багу, починили ли его или нет — не знаю.

Answer 2

[Dyr]

На домашнем сервере (Cel3300, 2Gb, 4xWD EARS 2Tb; FreeBSD 8.1 amd64) использую ZFS в конфигурации 4xRAID1 и RAID10:

root@server:/usr/local/etc (1768) zpool status
  pool: storage
 state: ONLINE
 scrub: none requested
config:

        NAME                 STATE     READ WRITE CKSUM
        storage              ONLINE       0     0     0
          mirror             ONLINE       0     0     0
            gpt/storage0     ONLINE       0     0     0
            gpt/storage3     ONLINE       0     0     0
          mirror             ONLINE       0     0     0
            gpt/storage1     ONLINE       0     0     0
            gpt/storage2     ONLINE       0     0     0

errors: No known data errors

  pool: zroot
 state: ONLINE
 scrub: none requested
config:

        NAME             STATE     READ WRITE CKSUM
        zroot            ONLINE       0     0     0
          mirror         ONLINE       0     0     0
            gpt/system0  ONLINE       0     0     0
            gpt/system2  ONLINE       0     0     0
            gpt/system3  ONLINE       0     0     0
            gpt/system1  ONLINE       0     0     0

errors: No known data errors

Диски разбиты вот так (сделан отступ в 2 Мбайта в начале диска для исправления проблем AdvancedFormat у WD EARS винтов):

root@server:/usr/local/etc (1771) gpart show
=>        34  3907029101  ada0  GPT  (1.8T)
          34        2014        - free -  (1.0M)
        2048         128     1  freebsd-boot  (64K)
        2176     8388608     2  freebsd-swap  (4.0G)
     8390784    41943040     3  freebsd-zfs  (20G)
    50333824  3856695311     4  freebsd-zfs  (1.8T)

=>        34  3907029101  ada1  GPT  (1.8T)
          34        2014        - free -  (1.0M)
        2048         128     1  freebsd-boot  (64K)
        2176     8388608     2  freebsd-swap  (4.0G)
     8390784    41943040     3  freebsd-zfs  (20G)
    50333824  3856695311     4  freebsd-zfs  (1.8T)

=>        34  3907029101  ada2  GPT  (1.8T)
          34        2014        - free -  (1.0M)
        2048         128     1  freebsd-boot  (64K)
        2176     8388608     2  freebsd-swap  (4.0G)
     8390784    41943040     3  freebsd-zfs  (20G)
    50333824  3856695311     4  freebsd-zfs  (1.8T)

=>        34  3907029101  ada3  GPT  (1.8T)
          34        2014        - free -  (1.0M)
        2048         128     1  freebsd-boot  (64K)
        2176     8388608     2  freebsd-swap  (4.0G)
     8390784    41943040     3  freebsd-zfs  (20G)
    50333824  3856695311     4  freebsd-zfs  (1.8T)

Проблема: низкая скорость чтения и записи у ZFS RAID10:
Например, запись:

dd if=/dev/zero of=/storage/test.file bs=1000M count
1+0 records in
1+0 records out
1048576000 bytes transferred in 33.316996 secs (31472705 bytes/sec)

Или чтение:

 dd if=/storage/test.file of=/dev/nulbs=1000M count=1
1+0 records in
1+0 records out
1048576000 bytes transferred in 13.424865 secs (78107005 bytes/sec)

systat при этом выглядит примерно так:

    2 users    Load  0,29  0,12  0,04                  19 окт 14:27

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
        Tot   Share      Tot    Share    Free           in   out     in   out
Act 1048432    7548  2771456    11732   87616  count
All 1232436   10608 1076589k    29964          pages
Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt        cow    4770 total
             69      8556  20k  517  776  798  20k  20581 zfod    104 em0 uhci0
                                                        2 ozfod     5 uhci3 ehci
 9,7%Sys   0,0%Intr  0,0%User  0,0%Nice 90,3%Idle        %ozfod  1997 cpu0: time
|    |    |    |    |    |    |    |    |    |    |       daefr       hdac0 257
=====                                                     prcfr   667 ahci0 259
                                           dtbuf     3762 totfr  1997 cpu1: time
Namei     Name-cache   Dir-cache    100000 desvn          react
   Calls    hits   %    hits   %     26371 numvn          pdwak
       2       2 100                 24996 frevn          pdpgs
                                                          intrn
Disks  ada0  ada1  ada2  ada3   da0 pass0 pass1    429056 wire
KB/t    128   128   128   127  0,00  0,00  0,00   1103516 act
tps     156   173   188   145     0     0     0    368484 inact
MB/s  19,51 21,62 23,48 18,03  0,00  0,00  0,00           cache
%busy    18    35    35    16     0     0     0     87616 free
                                                          buf

А с самих дисков читает вполне приемлимо:

1073741824 bytes transferred in 9.673196 secs (111001764 bytes/sec)
root@server:/usr/home/dyr (1769) dd if=/dev/gpt/storage1 of=/dev/null bs=1024M count=1
1+0 records in
1+0 records out
1073741824 bytes transferred in 9.887180 secs (108599400 bytes/sec)
root@server:/usr/home/dyr (1770) dd if=/dev/gpt/storage2 of=/dev/null bs=1024M count=1
1+0 records in
1+0 records out
1073741824 bytes transferred in 9.736273 secs (110282635 bytes/sec)
root@server:/usr/home/dyr (1772) dd if=/dev/gpt/storage3 of=/dev/null bs=1024M count=1
1+0 records in
1+0 records out
1073741824 bytes transferred in 11.112231 secs (96627025 bytes/sec)

В чём причина, не понимаю.

vfs.zfs.l2c_only_size: 3535428608
vfs.zfs.mfu_ghost_data_lsize: 23331328
vfs.zfs.mfu_ghost_metadata_lsize: 20963840
vfs.zfs.mfu_ghost_size: 44295168
vfs.zfs.mfu_data_lsize: 0
vfs.zfs.mfu_metadata_lsize: 0
vfs.zfs.mfu_size: 11698176
vfs.zfs.mru_ghost_data_lsize: 22306304
vfs.zfs.mru_ghost_metadata_lsize: 8190464
vfs.zfs.mru_ghost_size: 30496768
vfs.zfs.mru_data_lsize: 512
vfs.zfs.mru_metadata_lsize: 0
vfs.zfs.mru_size: 20443648
vfs.zfs.anon_data_lsize: 0
vfs.zfs.anon_metadata_lsize: 0
vfs.zfs.anon_size: 1048576
vfs.zfs.l2arc_norw: 1
vfs.zfs.l2arc_feed_again: 1
vfs.zfs.l2arc_noprefetch: 0
vfs.zfs.l2arc_feed_min_ms: 200
vfs.zfs.l2arc_feed_secs: 1
vfs.zfs.l2arc_headroom: 2
vfs.zfs.l2arc_write_boost: 8388608
vfs.zfs.l2arc_write_max: 8388608
vfs.zfs.arc_meta_limit: 106137600
vfs.zfs.arc_meta_used: 104179208
vfs.zfs.mdcomp_disable: 0
vfs.zfs.arc_min: 53068800
vfs.zfs.arc_max: 424550400
vfs.zfs.zfetch.array_rd_sz: 1048576
vfs.zfs.zfetch.block_cap: 256
vfs.zfs.zfetch.min_sec_reap: 2
vfs.zfs.zfetch.max_streams: 8
vfs.zfs.prefetch_disable: 1
vfs.zfs.check_hostid: 1
vfs.zfs.recover: 0
vfs.zfs.txg.write_limit_override: 0
vfs.zfs.txg.synctime: 5
vfs.zfs.txg.timeout: 10
vfs.zfs.scrub_limit: 10
vfs.zfs.vdev.cache.bshift: 16
vfs.zfs.vdev.cache.size: 10485760
vfs.zfs.vdev.cache.max: 16384
vfs.zfs.vdev.aggregation_limit: 131072
vfs.zfs.vdev.ramp_rate: 2
vfs.zfs.vdev.time_shift: 6
vfs.zfs.vdev.min_pending: 4
vfs.zfs.vdev.max_pending: 10
vfs.zfs.cache_flush_disable: 0
vfs.zfs.zil_disable: 0
vfs.zfs.zio.use_uma: 0
vfs.zfs.version.zpl: 4
vfs.zfs.version.spa: 15
vfs.zfs.version.dmu_backup_stream: 1
vfs.zfs.version.dmu_backup_header: 2
vfs.zfs.version.acl: 1
vfs.zfs.debug: 0
vfs.zfs.super_owner: 0

Ещё немного раздражает наличие опций файловой системы sharesmb и sharenfs — понятно, что они в Solaris делают, но во FreeBSD, насколько я понимаю, они просто не работают.

Comments

[Dyr]

Или вот ещё странность — запуская zpool scrub storage, zpool iostat -v storage показывает разное количество использованного места и обращений к разным винтам:

                        capacity     operations    bandwidth
pool                  used  avail   read  write   read  write
-------------------  -----  -----  -----  -----  -----  -----
storage               652G  2,93T    505     20  61,3M   117K
  mirror              504G  1,29T    504      6  61,3M  39,1K
    gpt/storage0         -      -    495      5  61,5M  39,5K
    gpt/storage3         -      -    495      6  61,5M  39,5K
  mirror              148G  1,64T      0     13   1023  78,2K
    gpt/storage1         -      -      0     10      0  78,6K
    gpt/storage2         -      -      0     10      0  78,6K
-------------------  -----  -----  -----  -----  -----  -----

[Владислав]

пробуйте
vm.kmem_size=«999M»
vm.kmem_size_max=«999M»
vfs.zfs.arc_max=«160M»
vfs.zfs.prefetch_disable=1
kern.ipc.nsfbufs=10240

[Dyr]

То же самое:

# dd if=/storage/test.file of=/dev/null bs=1000M count=1
1+0 records in
1+0 records out
1048576000 bytes transferred in 13.490830 secs (77725092 bytes/sec)

Сделать kern.ipc.nsfbufs=10240 не удалось ни из /etc/sysctl.conf, ни из /boot/loader.conf, текущее значение «0».

[Владислав]

попробовать использовать не /dev/ada, а /dev/ad
почитать hardforum.com/showthread.php?t=1546137

[Dyr]

Я сначала на ad и пробовал, и только потом перешёл на новые драйвера.
Форум этот читал. Удивлён, кстати, что автор того топика не стал пробовать аналог RAID10, так как считаю его наиболее удобным для 4-винтовых конфигураций по целому ряду параметров.

Более того, дополнительно протестировал сервер, добавив в него 1Гб памяти (т.е. итого 3Гб) и заменив в нём процессор на Core2Quad.
Вот здесь я публиковал как тестировал и результаты тестов.

Более того, я попробовал на настольном сервере с Core2Duo и 2Гб памяти с LiveCD OpenIndiana протестировать Seagate 7200.10, и скорость также была весьма низкой, в районе 40Мбайт/сек.

Answer 3

[fenrirgray]

Синтетический тест: www.phoronix.com/scan.php?page=article&item=zfs_ext4_btrfs&num=3
Но это фороникс. И тест, как обычно, имеет мало отношения к реальности )

Вообще у меня один сервер с бэкапами, резервный, стоит с zfs. Из любопытства т.к. оно там совершенно не нужно. Ну, вроде работает, что еще сказать, нагрузки там особой нет, выключений питания не бывает, фря не виснет.

Мне кажется, что если вам _действительно_ нужны те преимущества, которые дает zfs — тогда её стоит использовать. Если же не очень нужны — не стоит т.к. это все же experimental.

Comments

[Vadim Rybalko]

У нас тоже бэкап-сервер на ней. ))
В том-то и дело, что вроде совсем уже не experimental, как говорят разработчики. ZFSv14 вполне заявлено как production-решение.

[Vadim Rybalko]

просто всякие UFS+Journal и иже с ними кажутся костылями уже на этапе настройки, а ZFS вполне легко сетапится и обслуживается. Еще очень интересна возможность тюнинга раздела: под MySQL чего-нибудь подкрутить.

Answer 4

[klassik]

Около месяца тестирую FreeBSD с ZFS как файл сервер. Доступ около 400-800 человек в день. Пока все радует. Проблем в работе не замечаю. Если еще через месяц не будет проблем поставлю ZFS на основной файл-сервер, в надежде хоть немного снизить нагрузку.

Answer 5

[Дмитрий Земсков]

Ребята, а кто-нибудь уже пережил падение одного из хардов объединенных ZFS под фряхой?
В солярисе всё замечательно, и ZFS вполне можно довериться, а вот будет ли всё так же здорово случись что во фряхе?
Бэкап конечно наше всё, но интересует в первую очередь жизнеспособность системы в случае выхода из строя одного из дисков.

Comments

[cadmi]

для проверки выдергивал. по-боевому еще ни один не дох :)

[Антон Коссов]

использую ZFS на файловом сервере в режиме raidz2 + на нескольких тачках в мирроре. raidz бог миловал, а вот на одном из мирроров диск сдох — заметили день на третий, переткнули новый — всё работает как часы. ни потери данных, ни особых простоев ;)

Answer 6

[cadmi]

да в принципе терпимо. не сказать, чтобы быстрее (файлопомойка), но очевидно удобнее.

Answer 7

[Владислав]

Эксплуатирую ZFS на FreeBSD 9.0-CURRENT:

1. raidz2 из 6 дисков + диск для системы — в основном файлопомойка, хранилище торрентов и бэкап-сервер via ftp
2. raid 1 с загрузкой на ZFS — nginx+php+mysql
3. одиночный диск ZFS — nginx+php+mysql

При копировании большого количества мелких файлов ~30G в пределах одного пула система начинает тупить.
Но тут уже приходится мирится или высокая скорость IO или временные тормоза при переполнении vfs.zfs.arс…

Answer 8

[cadmi]

Не умеет. Но и проблемы в этом нет никакой. Или у кого-то это ежедневная задача?
Так разве что, перед пацанами померяться: «элвээм это делает в полпинка!» :)

Comments

[Yaakov Tooth]

Да не же, просто LVM во фре — как-то криво, за и ZFS хочется уже поюзать вовсю. Сейчас на резервный файло-сервер накатил, буду тестить скорости.

А пацаны окружают такие, которые AD настраивают на своих виндах с мануалами. :(

[cadmi]

Обращайтесь, если что. Я лет 15 с солярисом, и ZFS с момента появления. Есть и пара FreeBSD с ZFS.
Но если честно, в реальном мире, ни разу не понадобилось «уменьшать пул». Расширять — да, частенько. А в обратную сторону — ну в гипотетически придуманной ситуации может и надо. Но и тогда проще прицепить «более мелкие винты» и перекинуть на них snapshot через zfs send | zfs recv

[Yaakov Tooth]

О! Спасибо большое! :)

Зачем уменьшать? Например, на LVM жил да был массив 500+750+750. 750 начал сыпаться, а в наличии 750ок нет, а есть только 500ки, подключаем 500ку, pvmove с 750, отключаем, массив уменьшается на этот 750.

Как можно будет обработат такую ситуацию на ZFS? Или уже кончать нищебродствовать и потратиться тысячу-другую долларов на нормальный файл-сервер домой?

Answer 9

[vjjvr]

На боевом все круто если использовать снапшоты.
Эта киллер-фича до сих пор в ZFS.

Answer 10

[intnzy]

Слегка офтопик, но не могу не сказать.
Как администратору большого проекта следовало бы взять за правило вводить в энтерпрайз только хорошо проверенные и оттестированные технологии, в которых хорошо разбираетесь, и по поводу которых можете иметь свое взвешенное мнение.
А подход — «а посоветуйте ка мне тут штучек разных, а я их заюзаю на горячую» — это тупик.
ZFS на x86 — пока что слишком зелена для ентерпрайз продакшн. Хотите ZFS — берите Солярку на T2 — для многопоточных веб-делов — самое то. Ну и ясен красен нужно знать Solaris ))).

Comments

[intnzy]

ах да, и кроме того, ZFS нынче под Linux педалирут невиданными темпами. И я уверен, что очень очень скоро реализация под Linux обгонит таковую FreeBSD. Хотя есть и некий нативный «аналог» — btrfs.

[andoriyu]

btrfs'у до ZFS как до альфа-центавра. Хотя бы потому, что ZFS это не просто FS, а полностью новое управлением всем этим.

[Vadim Rybalko]

Так чтобы технологии были хорошо проверенные и оттестированные, надо их проверять и тестировать. А также узнавать мнение тех, кто реально их проверял и тестировал. Именно для этого я и сделал этот опросник. И ставить Солярку именно из-за того, что там ZFS — нативная система по-моему бред. Да: «на горячую» никто не собирается сразу брать и юзать, для этого и «зондируется почва». Свое мнение в любом случае будет не полное и субъективное: я физически не смоделирую все возможные проблемы, а чем больше народа реально использовало связку, тем больше статистика. Пока ZFS лидирует среди FS для FreeBSD практически по всем фронтам, включая скорость, а негативные отзывы были в основном по отношению к нестабильным сборкам.

[BasilioCat]

Администраторы энтерпрайза ставят СХД за 0.5 млн зеленых денег, с полным дублированием и прочими фишечками, и не парятся. Заодно и капитализацию бизнеса такими решениями повысят, ну а админам — геморроя меньше. Слово Линукс в энтерпрайзе кстати тоже не любят, кроме тех которые стоят денег (и на них стоит например Оракл), а про FreeBSD и речи нет. Однако тут проект скорее телекомовский, а там админам можно поразвлекаться в свое удовольствие, денег на СХД все равно нет =)

[andoriyu]

Я обажаю эту пасту и то как хабр с ней разговаривает :D

Answer 11

[nicolnx]

а чем оно лучше LVM over RAID(1,5) под линухом?

Comments

[Vadim Rybalko]

Это совсем разные вещи и совершенно по-разному работают и управляются. Не лучше, и не хуже, просто другое.

[nicolnx]

Ну почему же разные? По сути ведь и то и другое — дополнительный уровень абстракции между файловой системой и дисковым накопителем.
www.unixconsult.org/zfs_vs_lvm.html — тут их вполне даже сравнивают.

[Vadim Rybalko]

Это сравнение фич. Уровень абстракции в ZFS совсем другой, нежели у классических ф.с.

[nicolnx]

ну так LVM — это ж не ф.с. вовсе. скорее менеджер контейнеров для ф.с.

Answer 12

[Yaakov Tooth]

Ребят, использовал LVM на дебиане, сейчас он же крутится на фре. Делаю резервный файл-сервер, LVM/ZFS юзаю пока исключительно для объединения винчестеров разного размера в один большой диск.

Действительно ZFS не умеет уменьшение пула? LVM это делает в полпинка через pvmove. :(

Спасибо.

Answer 13

[cadmi]

500+750+750 — это типа stripe был? ну, raid0 мол, в одну кучу все?

Потому что если там будет mirror или raidz, то использоваться будет все равно по 500 на каждом диске (минимальный в пуле). В этом случае вообще никаких проблем, zpool replace бубубу

Comments

[Yaakov Tooth]

Нет-нет-нет, конечно же не страйп. Страйп намеренно не стал вкручивать — испугался на LVM сиутации что при отказе одного из дисков будет потеряна инфа не только с него, но и с других.

А куча в ZFS для теста слеплена, да, «в кучу всё»:
ad1: 76319MB <Seagate ST380011A 3.06> at ata0-slave UDMA100
ad2: 117245MB <Maxtor 6Y120L0 YAR41BW0> at ata1-master UDMA133
ad3: 152627MB <WDC WD1600JB-00REA0 20.00K20> at ata1-slave UDMA100

И получилось:
reserve# zfs list pool
NAME USED AVAIL REFER MOUNTPOINT
pool 388M 332G 388M /pool

На коллекцию портов и сорцы сразу же врубил компрессию. Уже начинаю положительно офигевать.

Всё же получается, что пока пусть так поживёт, и первым вложением домой — пять-шесть больших одинаковых дисков для raidz3, который обещают в v28 FreeBSD. Пока же пробую штатную в 8.2 v14 из коробки.

Answer 14

[cadmi]

С «кучей» вопрос отдельный :) Могу предложить hint, как разбираться со всеми этим zpool {add,replace,attach,detach,online,offline}.

Создайте несколько файлов (можно разного размера, в тех пропорциях, которые интересны).
И делайте zpool _из этих файлов_ :) zpool create testpool /path/to/file10G /path/to/file20G /path/to/file20G
Ну и пробуйте «отцепить диск» из пула, «прицепить обратно», «в оффлайн», обратно «в онлайн», сделать replace одного на другой. И смотрите на практике, что можно сделать, чего Вам не позволят. Ничего не сломаете, инфа 100% :) И никаких винтов не нужно вообще.

Comments

[Yaakov Tooth]

Спасибо. :)

У меня как раз сейчас эти винты и есть для теста. Сейчас ещё в системном диске разобью пространство оставшееся, прицеплю ещё винтов, все в разные ФС, например, и начну тотальное извращение с записью всех действий в блокнот.

Невероятно интересная штука эта ZFS, кстати.

[cadmi]

> Невероятно интересная штука эта ZFS, кстати

У меня есть пул на 16 примерно терабайт, на котором нарезано тысячи три с половиной файловых систем :)

[Yaakov Tooth]

Тест на отключение питания при двух параллельных перемещениях пройден успешно. Фантастиш. Коэффициент сжатия на портах+сорцах 2.39х. Фантастиш. Онзефлай.

Теперь я уже действительно хочу поднять вот такой же пул на примерно столько же терабайт на современном железе. Это же бомба просто! В самом деле, как и было обещано в статье — управление разделами стало таким же простым как управление директориями. И зачем я раньше geom concat и lvm изобретал, когда zfs во фре есть с 7ой ветки?..

[Yaakov Tooth]

Кстати, есть ли резон накрутить будущий сервер ради нативной ZFS на солярке? Или v28 и на фре ок?

[cadmi]

> Тест на отключение питания при двух параллельных перемещениях пройден успешно
copy on write, атомарные метаданные, блаблабла :)

> Коэффициент сжатия на портах+сорцах 2.39х
и там в принципе есть ещё ручки, за которые можно покрутить :)

> управление разделами стало таким же простым как управление директориями.
да так оно и есть, у меня на ftp каждому юзеру по файловой системе, вместо каталога :) нафиг нужны квоты ftpd, когда можно нарезать прямо на файловой системе? :)

а на солярисе ко всей это ботве еще полагаются zfs {sharenfs, sharesmb, shareiscsi}, которых на freebsd нет :)

[Yaakov Tooth]

Про атомарные метаданные, а все же — чем чекать и фиксить файловые системы?

Про ручки — у меня голова кружится от количества ручек в мануале, честно. :))

Про управление разделами и каждому по ФС — это и есть следствие идеологии zfs, верно? :) Какая-то сильно халявная идеология получается, пара команд решает всё, ищу подвох, блин. :))

Про zfs {sharenfs, sharesmb, shareiscsi} я уже почитал. И сейчас из портов все три поднимаю, блин. :))))

[cadmi]

> чем чекать и фиксить файловые системы?
Нечем :) Внезапно :)

> это и есть следствие идеологии zfs, верно?
Верно

> И сейчас из портов все три поднимаю, блин.
И это будет работать на bsd? По-моему, эти команды в порте на freebsd просто не реализованы. Ну может sharenfs разве что. Хотя я давно не смотрел, чего там портировали — раньше точно не было.

[Yaakov Tooth]

Нет-нет, ты меня неправильно понял. Штатные samba, iscsi-target и тулзы для nfs, влитого в ядро. :)

[Yaakov Tooth]

И я не понял — как это нечем чекать?

[cadmi]

Ну это совсем другой коленкор :) Не имеющий отношения к ZFS, настраивается отдельно, на атрибуты, которые ставятся через zfs set shareiscsi=on не обращает внимания. На Solaris все это прозрачнее.

[cadmi]

Да вот так. Не надо там чекать. Оно само себя чекает. Там есть zfs set checksum=on (по умолчанию включено). Там есть zfs set copies=N (хоть сто, если места не жалко). И mirror или raidz восстанавливаются автоматом, если есть что (и откуда) восстановить. Что сейчас делают fsck на ext3 и ufs c softupdates? Накатывают журнал? ZFS его сама накатит при поднятии пула.

Если есть сомнения, можно принудительно скомандовать zpool scrub mysuperpuperpool.

[Yaakov Tooth]

Разумеется, но что поделать? :) Разве что качать таки x86 Solaris.
А пока погонять в виртуалке U3.

Answer 15

[cadmi]

У меня solaris'ов гораздо больше, чем bsd, так что тут я плохой советчик :) Мне было бы проще сделать очередной solaris box. Но там для неподготовленного человека может быть то ещё дао с компиляцией типичного софта (хотя есть pkgsrc от netbsd, считай — те же порты, или вообще opencsw — ничего компилять не надо).

Ну и сама установка минимальной ОС (что-то типа Base System во FreeBSD, метров на 200 без лишнего трэша) тоже потребует определенной усидчивости и желания «поразбираться». Ну или как вариант — OpenSolaris в дефолтной установке, но это 4 гига «всего подряд» вместе с иксами и прочей требухой.

Comments

[Yaakov Tooth]

Желание разбираться присутствует с рождения. А то бы я вообще не занимался этим любопытства ради — я не админ, я быдлокодер. :)

Мне давненько присылали два диска: 11/06 Solaris 10 Operating System. Один, естественно, для спарка, а вот второй дивидюк для этих наших x86. Оно?

[cadmi]

На безрыбье подойдет, хотя и старовато (11/06 — это ноябрь 2006 года, «U3» еще зовут). Рекомендую поискать Solaris 10 10/09 (так называемый «U8»). Это последний чисто Sun'овский релиз, до того, как купивший Оракл забацал СамыйГлавныйКоммит — смену копирайтов с © Sun на (с) Oracle :) И изменил EULA на свой проприетарный вкус.

Файлик будет называться sol-10-u8-ga-x86-dvd.iso (md5 9df7fd02d82976fd3ec38a18d1a57335). Берут примерно здесь.

[Yaakov Tooth]

Мегаспасибо, чёрт возьми! :)

Сейчас попрошу друзей с толстыми интернетами зафетчить образ. :)

Answer 16

[Valentin]

Три года миновало. Поделитесь опытом?

Comments

[Владислав]

Значительно лучше в эксплуатации, чем UFS2, надежнее.
Из минусов, нужны знания и ресурсы для тюнинга под высокую производительность.

[Антон Аникин]

активно используем, полет нормальный )

[Valentin]

SSD не используете с ZFS?