Есть ли готовое решения для инкрементного резервное копирования бакетов s3 и если нет, то почему это никому не нужно?

Алексей, я всегда подстилаю соломку и, если есть возможность зафиксировать знание в котором я уверен - выбираю такой вариант

Понимаю что неубедительно но не хочу выдумывать фантастические версии каких-нибудь факапов сервиса или про злобных хакеров :D

Есть ли готовое решения для инкрементного резервное копирования бакетов s3 и если нет, то почему это никому не нужно?

Алексей,

Данные из приложения для него, по сути, и не нужны - вся необходимая информация о датах существования объектов и так есть в S3

вот тут я бы все таки выбрал единственный источник правды. Например БД.
А не надеялся что "photo.jpg версия на 20-е декабря" в S3 окажется "photo.jpg созданное 18 декабря" в базе - мало ли что там в бакете произошло за эти два дня, а версия-то создается при изменении объекта.
Бэкапим базу - делаем срез состояния, содержащий точно соответствующую версию объекта в S3, уже не ориентируясь на дату
Заодно сужаем список объектов - которые надо терзать при восстановлении.
Пробегаться по всем (а вдруг у вас там через два года будут миллиарды их) - долго и, в случае облачных провайдеров(если не селфхост) - дорого.

Есть ли готовое решения для инкрементного резервное копирования бакетов s3 и если нет, то почему это никому не нужно?

Алексей,

Схема "база + файлы" - это типовой паттерн

с применением S3 схема это "база + объекты" причем ссылки на объекты лучше хранить в базе =)

(хранить статические, не изменяемые файлы, которые приложение изредка добавляет, часто запрашивает только для того, чтобы сразу же отдать клиенту по http и никогда не изменяет)

ну, S3 скорее - высокодоступное, скалируемое, версионированное хранилище объектов. Про основное применение можно вести споры )
в AWS S3 для консистентных срезов на несколько миллионов файлов (восстановление данных на конкретную дату) я использовал инвентаризацию бакета. Не уверен что для S3 совместимых решений есть что-то подобное (почти не использовал кроме домашнего минио) поэтому и предложил вам вести инвентаризацию конкретного набора данных самостоятельно )
Решение для консистентного восстановления в S3 в общем случае выглядит, наверное, так:
1. перечислить все объекты, в том числе удаленные, находящиеся в бакете.
2. для каждого объекта выяснить есть ли версия на заданную дату (т.е. присутствовал ли он на заданную дату в бакете)
3. восстановить объекты с заданной даты на актуальную версию

любой "внешний" бэкап, о котором вы говорили в комментариях - это, по сути, перевод объектов в файловый вид (монтирование в фс, или выкачивание файлов), а затем стандартное бэкапирование уже файлов

Почему скрипт не работает через systemctl?

Петровский, Massacre_Rage, что самое характерное, на моей рабочей машинке ваш сервис работает отлично и все везде пишет )
отсюда: или вывод не тот - пустой (см. предыдущий коммент от фигачит) или прав каких-то нет на запись файл после его создания (чем черт не шутит)

А вообще скедулер внутри скрипта лучше не писать - напишите systemd таймер который будет запускать oneshot сервис. Таким образом выпрямите поток ошибок - exitcode не будет перекрываться в скрипте и сервис будет фейлиться сразу если случилась проблема, легче диагностировать

Почему некоторые сайты не открываются в Google Chrome?

еще один вариант - подмена DNS
если не изменяет память, в FF по умолчанию включался какой то DOH сервер - в хроме по умолчанию такого не включалось. Возможно ваш случай, и DNS хромом резолвится системными DNS провайдера, который их подменяет, а FF идет на настоящие IP

Возможно ли в 2024-м найти картинку обратным поиском?

Виталий Першин, tineye довольно специфический, он скорее ориентирован на поиск источника картинки (причем на источнике этой картинки может уже и не быть, как и самого источника)

Когда надо найти картинку - результаты действительно ухудшились.
Пока что лучше всех в моих попытках показывает себя яндекс, но и там количество в выдаче сильно уменьшилось, причем без всяких (как у гугла) "часть результатов скрыто"

Почему появляется ошибка Permission denied (publickey,password) при деплои с помощью gitlab ci/cd?

Strixi, и загружен в ssh агент, как в документации?
если приватный ключ указан как файл-переменная

- chmod 400 "$SSH_PRIVATE_KEY"
- ssh-add "$SSH_PRIVATE_KEY"

или, если приватный ключ сам в переменной
- echo "$SSH_PRIVATE_KEY" | tr -d '\r' | ssh-add -

Почему появляется ошибка Permission denied (publickey,password) при деплои с помощью gitlab ci/cd?

Strixi, https://docs.gitlab.com/ee/ci/jobs/ssh_keys.html#c...

Почему появляется ошибка Permission denied (publickey,password) при деплои с помощью gitlab ci/cd?

Strixi, но вы же его никак не добавляете, это просто какая-то переменная
вам надо или положить его в файл и указать для использования или добавить через ssh агента

Как поправить правила nftables при syn flood атаке?

Станислав, а спрятаться за клаудфлейром не вариант?

Как организовать https между 2 серверами с nginx?

кстати, как вариант: переложить вопрос безопасности канала на связь между роутером и VPS (например поднять wireguard) и гонять незашифрованный трафик внутри =)

Как организовать https между 2 серверами с nginx?

Николай, но ведь HTTP то вы сделали, судя по вопросу
или это чисто как пример, проба ?

Как организовать https между 2 серверами с nginx?

Вопрос: если это один и тот же сайт, доступный и по HTTP и по HTTPS и вас не смущает доступность оного по HTTP с локального сервера (конфигурацию вы приводите в вопросе), то зачем балансировать оба варианта отдельно?
Почему бы не терминировать TLS на балансере на VPC а до локального сервера гонять HTTP?

Нет доступа к nas по домену из ЛВС, вне локальной сети, все ок.?

если все ваши устройства в локальной сети используют DNS сервером этот кинетик, то можно в настройках DNS сервера прописать статическое xx.synology.me = 192.000.000.000 (локальный адрес сервера)
Это не очень хороший способ (но он может работать), поскольку некоторые приложения )(firefox например) используют DNS-over-HTTPS или DNS-over-TLS, запрашивающую адреса у внешнего DNS провайдера, и тогда это перекрытие не сработает.

более правильный способ - настроить hairpin nat на кинетике, но вот тут я не вам не в помощь, делал только на микротиках и кинетики в глаза не видел
Специально пишу это в комментарии, потому что - как по мне - не тянет на ответ )

Портал для изменения паролей учётных записей AD?

"босяцкий" способ, но рабочий )

Как заставить Яндекс удалить телефонный номер из Яндекс.ID?

а еще хостинг провайдеров , плюс Дзен был, по сути, соцсеткой, и, если покопаться - можно и еще причины найти. а ID - один на всех.

Как заставить Яндекс удалить телефонный номер из Яндекс.ID?

Ziptar, боюсь в этом надо винить государство, которое это придумало, а не сервисы которые это исполняют

Где на самом деле лежит и как называется файл hosts в windows?

предполагаю, что автор просто не поставил отображать "скрытые-системные" в ноутпад++ и тоталкомандере

Поддерживает ли Windows 10 анимацию кликов мыши?

Если установлены powertoys то там есть функция "поиск мыши" которые при двойном нажатии на ctrl затемнит весь экран, кроме места где курсор мыши - тоже может использоваться при демонстрациях

Как поймать, что дает высокий Load Average?

Проблема в том, что когда проблема случается

а какая проблема то? просто скачок метрики?