В наследство получил 70 GB картинок в 1 папке, раскиданы они по «подпапкам» — это вообще нормально?

Question

[lxfr]

У меня ssh "тормозит" при открытии этой папки хотя бы на просмотр при коннекте на сервер.
Linux Debian.
70 картинок в формате jpeg + их thumbs.
Нужно "перекачать" в новый проект из старого.
Выкачаю ли я это по SCP? С таким поведением MC при попытке хотя бы открыть папку.

Comments

[iBird Rose]

раскиданы они по «подпапкам»

это считается правильным. если бы 70 gb картинок лежали в одной папке - ты бы вообще эту папку не открыл

Answer 1

[ThunderCat]

запаковать и слить архивом, можно разбить на куски по 1-2 гига.
а вообще - не сказать что это бест практис, но до конкретного файла система по пути все равно достучиться мгновенно. Листинг получить долго, но в веб проектах обычно и не требуется листинг директорий.

Comments

[lxfr]

Согласен, что листинг не нужен.
Система отдает мгновенно.
Глючит только листинг. MC и все такое прочее.
Но вот до каких пор такая директория будет расти и работать без сбоев на уровне ФС пока не очень ясно.
Видимо для этого стоит изучить особенности конкретной ФС.

[ThunderCat]

lxfr: линксовые все почти хорошо переносят рост количества файлов, в ядре на самом деле все устройства и драйверы, емнип представлены как файлы. Так что там все ок.

[Cyclop]

согласен со всем кроме выбора программы для перелива данных. да и упаковка только добавит проблем...
берите rsync - не ошибетесь.

[ThunderCat]

Cyclop: боьшие файлы легче перелить, много мелких для любой программы передачи более сложная задача, есть большие потери на инициализацию процессов.

[Cyclop]

опять же соглашусь :-)
только время на упаковку тоже тратится ... так что то на то :-)
а rsync кошернее для синхронизации содержимого (имхо)

[ThunderCat]

Cyclop: да, рсинк собсно для этого, но тут проще будет задача, тупо слить и залить, и не забывайте что архиватор отработает на локальной машине используя прямой доступ к диску, рсинк попрется через сеть, каждый раз пересоздавая подключение к файлу. Уж точно подольше будет чем упаковка без компрессии )

Answer 2

[podavo]

А зачем вы просматриваете эти файлы через SSH?
Вы же все равно не сможете их просмотреть.

Да, легко сможете выкачать, использую * в качестве имени файла, к примеру.

Answer 3

[Илья Белобородов]

раскиданы они по «подпапкам»

Это нормально, ибо если 70GB картинок валялись в одной папке тормозил бы не только ssh но и сайт в целом.
У меня когда-то было такое, и я поступил следующим извращенским путем:

Перелопатил все новости у которых есть ссылка на картинку, и через file_get_contents сохранял куда надо + изменял ссылку на картинку в дб

Answer 4

[Анатолий Кирсанов]

Нормально, если в каждой папке в итоге немного файлов. Здесь не объем картинок важен (если диск позволяет), а количество. Бывает, что картинки раскидываются при создании по таким подпапкам автоматически. Если для разумного количества картинок в одной папке одного уровня подпапок не хватает, делают и больше. Тогда пригодится совет Илья Белобородов для изменения структуры папок.

Для копирования в этой ситуации лучше подойдет rsync. Тем более, если проект действующий и картинки удаляются и добавляются.