Как удалить лишние файлы в linux?

Question

[leili]

Добрый день!

Прошу помощи у сообщества в упорядочивании бэкапов. Требуется удалить лишнее одним скриптом.
У меня есть файлохранилище с более 10000 файлов вида:

backup-name-back-0000-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-yyyymmdd-hhmm.bak

где:
backup-name-back- имя бэкапа, одинаковая часть названия у всех файлов
0000 - id, уникальный номер бэкапа. По id я определяю дубли.
название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.) - часть названия, неинформативна.
yyyymmdd-hhmm - дата и время бэкапа в формате 20220530-1620

На файлохранилище лежат по 4-9 экземпляров с одинаковыми id. Мне нужно оставить один экземпляр каждого уникального бэкапа с самой свежей датой, удалив все остальное одним скриптом.
Как понимаю, моя задача - вывести уникальные id
ls -1 | awk -F'-' '{ print $4}' | uniq
каким-то образом отсортировать список файлов по дате и удалить лишние, оставив один экземпляр.
Может, есть консольная утилита для такого?

Comments

[rPman]

обязательно эту задачу решать с помощью таких неудобных инструментов?
напиши программу на чем то более удобном

[xotkot]

ls -1 | ...
у вас бекапы в одной папке лежат без вложений ?

[leili]

xotkot, да

[Adamos]

rPman, причем не просто программу на удобном, а программу, которая выдает два списка - файлов, подлежащих удалению, и файлов, которые надо оставить.
Чтобы в процессе отладки ее работы не удалить все подряд из-за опечатки.
Башизм хорош, когда надо решать частую проблему, а не разгребать конюшни.

[rPman]

Adamos, лично я решаю тьму задач с помощью php, это очень удобный язык заменитель bash
в нем есть почти все то же что и в baash, плюс еще куча всего, и главное не многословен как другие (почему bash и тулчейн linux любят, потому что много задач решается короткой но малопонятной строкой)

[Adamos]

rPman, да под такие задачи сгодится любой высокоуровневый язык, который лучше знаешь / есть в системе / нагуглилось почти готовое решение %)

[xotkot]

Adamos , rPman

лично я решаю тьму задач с помощью php, это очень удобный язык заменитель bash

каждый кулик своё болото хвалит :)

[CityCat4]

rPman, Нет. Потому что он есть всегда. Я, например, очень долго сидел на tcsh. Но однажды понял, что bash все равно нужно знать, потому как все стартовые скрипты на нем (это была FreeBSD, до которой пока еще не добралась раковая опухоль systemd). И узнал. Теперь tcsh у меня только на старых машинах.
Если ты написал скрипт на bash - то он у тебя заработает везде (особенно если потрудишься зависимости проверять, если используешь что-то нестандартное).
Если ты написал скрипт на php/perl/ruby/черте-лысом - тебе сначала этот язык поставить надо. Исключением пожалуй является только python - он в большнистве случаев уже стоит.

[rPman]

CityCat4, тоже за питон бы сетовал
но это чисто личное, он мне не нравится хотя язык программирования просто отличный

Answer 1

[xotkot]

создадим тестовую площадку:

mkdir -p /tmp/TEST && touch "/tmp/TEST/backup-name-back-"{01..05}"-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-"{10..13}-{100..104}".bak" && tree /tmp/TEST

вывод tree

/tmp/TEST
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-10-100.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-10-101.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-10-102.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-10-103.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-10-104.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-11-100.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-11-101.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-11-102.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-11-103.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-11-104.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-12-100.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-12-101.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-12-102.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-12-103.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-12-104.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-100.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-101.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-102.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-103.bak
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-104.bak
├── backup-name-back-02-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-10-100.bak
...
├── backup-name-back-05-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-102.bak
├── backup-name-back-05-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-103.bak
└── backup-name-back-05-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-104.bak

0 directories, 100 files

получим 100 файлов бэкапа

теперь несколько однострочников
прописываем полный путь к папке где хранятся бэкапы и заодно закинем список для сравнения в переменную Т

DIR="/tmp/TEST"; T=$(ls $DIR/* |awk -F'[-.]' '{print $4" "$(NF-2)$(NF-1)";"$0}')

показать что останется после удаления

echo "$T" |sort -nr |sort -un |awk -F';' '{print $2}'

показать что удалиться

comm -3 <(echo "$T" |sort -n) <(echo "$T" |sort -nr |sort -un) |awk -F';' '{print $2}'

!!! удаляем !!!

rm $(comm -3 <(echo "$T" |sort -n) <(echo "$T" |sort -nr |sort -un) |awk -F';' '{print $2}')

по итогу получим:

$ tree /tmp/TEST
/tmp/TEST
├── backup-name-back-01-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-104.bak
├── backup-name-back-02-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-104.bak
├── backup-name-back-03-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-104.bak
├── backup-name-back-04-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-104.bak
└── backup-name-back-05-название_на_русском,_могут,_встречаться_(скобки,_точки,_запятые.)-13-104.bak

0 directories, 5 files

Comments

[leili]

Благодарю! Это работает лучше конструкций, которые пыталась сделать я