Задать вопрос
Ответы пользователя по тегу Хранение данных
  • Можно ли ускорить запись на ZFS через кэш?

    @mezhuev
    Системный администратор
    Но я не смог найти инфу про ускорение записи через какой-нибудь дешёвый SSD. Так возможно ли это?

    Краткий ответ: с использованием SSD невозможно, ставьте CMR-диски.

    Фактическое поведение ZFS зависит от режима записи: синхронный или асинхронный.

    В асинхронном режиме (режим по умолчанию или при sync=disabled) запись происходит группами транзакций (txg) с периодичностью, стремящейся к значению zfs_txg_timeout — это и есть кэш записи ZFS, доступный из коробки и единственно возможный. Значение по умолчанию 5 секунд, фактическое время зависит от множества факторов и может быть как меньше, так и больше. На свой страх и риск можно поиграться с параметрами, влияющими на данное поведение, но физику не обманешь и вы всё равно довольно быстро упрётесь в фактическую производительность дисков.

    В синхронном режиме (если приложение явно запрашивает синхронную запись или при sync=always), данные аналогично помещаются в память, но запись не будут подтверждена пока не завершиться запись в ZFS Intent Log (ZIL), который является частью пула. После этого данные в рамках очередной txg записываются на диск (да, ещё раз) уже на своё постоянное место. Можно снизить нагрузку на диски добавив SLOG на базе SSD (желательно двух и в mirror, так как эти данные важны в случае сбоя). Но это не кэш записи, а способ немного увеличить производительность записи при некоторых сценариях. Ещё на синхронную запись и работу с ZIL влияет logbias.

    Можно было бы подумать, что при использовании sync=always и отдельном SLOG мы заставим все данные писаться сначала на SSD и тем самым получим кэш записи, но нет. При нормальном режиме работы данные из ZIL, где бы он не находился, никогда не читаются, так как они есть в оперативной памяти. ZIL используется только для восстановления после сбоев.
    Ответ написан
    Комментировать
  • Opensource хранилище с API для фоток есть?

    @mezhuev
    Системный администратор
    Ответ написан
    Комментировать
  • Бекап в Google Drive, OneDrive?

    @mezhuev
    Системный администратор
    Ответ написан
    Комментировать
  • Как выйти из ситуации с большим количеством подпапок на файловом сервере?

    @mezhuev
    Системный администратор
    Единственное рабочее решение — перейти на Linux. Но у меня есть подозрения, что этот вариант вам не подходит. Поэтому остаётся только провести с пользователем беседу, что так делать не надо. Другого универсального решения на данный момент мне не известно. Даже если у вас новейшая Windows 10 и вы сняли ограничение через реестр или групповые политики, то это всё равно не будет работать должным образом. Да, проводник позволит вам проводить манипуляции с файлами и папками, но даже новейший Excel не сможет открыть таблицу, а Acrobat Reader выдаст ошибку при открытии PDF-файла.

    spoiler
    Можно использовать костыли. Например, подбирать ПО, которое корректно переваривает длинные пути. Или уменьшать вложенность с помощью команды subst. Или подключать папки как сетевые диски. Или научить пользователя использовать UNC-формат \\?\Диск:[\Каталог][\Файл]. Или изменить способ хранения файлов. Или…
    Ответ написан
    Комментировать
  • Стоит ли делать резервное копирование в облако?

    @mezhuev
    Системный администратор
    Руководство предлагает делать резервное копирование в облако, для того что бы не покупать сервак для бэкапов.

    Первое не исключает второго. Есть золотое правило резервного копирования «3-2-1»:
    1. Три физически разделённые резервные копии. Разные папки на одном сетевом хранилище считаются одним местом.
    2. В двух различных форматах хранения. Например, простая копия через rsync и в специализированном формате выбранного средства резервного копирования.
    3. Одна из копий должна быть вне офиса. Облако подходит, но так же это может быть сервер в другом филиале.

    Можно упростить данное правило до «2+1», то есть две копии локально и одна удалённо.
    Ответ написан
    Комментировать
  • Как делать бекап в облачное хранилище?

    @mezhuev
    Системный администратор
    https://en.wikipedia.org/wiki/NTFS_symbolic_link

    Переносите папку в облачное хранилище и делаете ссылку на старое расположение.
    Ответ написан
    2 комментария