Как получить список дублирующихся по имени файлов [Debian]?

Question

[ursul]

Здравствуйте хабрпользователи, задача заключается в след.:


Необходимо найти рекурсивно файлы с разным регистром в названиях

Допустим:

/home/user/test/Te<b>S</b>T.xml<br/>
/home/user/test/TesT.xml<br/>
<br/>
/home/user/test/first/test<br/>
/home/user/test/first/<b>T</b>est<br/>

А так же директории одинаковые по имени, но разные по регистру

/home/user/test/<b>F</b>irst/test<br/>
/home/user/test/first/test<br/>

и просто вывести их в log файлик.


Рыл в сторону find, grep, fslint, fdupes безуспешно (не получилось реализовать то, что хотелось).
fdupes вывел очень много дубликатов (15тыс строк). Как я понял, он проверяет размер файла и md5. Мне же нужно просто по имени.


У кого какие есть идеи? Примеры.

Заранее спасибо.

Comments

[ursul]

Сделал сам. Чуть-чуть изнасиловал диск и CPU. Но на 150тыс. файлах отработал. Всем спасибо. Отдельное bagyr

for f in `find . | tr '[:upper:]' '[:lower:]' | sort | uniq -d`; do  find . -iwholename $f; done

Answer 1

[bagyr]

find. | tr '[:upper:]' '[:lower:]' | uniq -d

Comments

[ursul]

Спасибо. Не знал про uniq.
И сразу еще вопрос, как тогда выводить повторяющиеся строки, не урезая и не меняя регистр?

[sledopit]

sort забыли перед uniq -d. без sort'а работать не будет.

[bagyr]

| xargs -l find . -iwholename `{}` 

в конец, хотя, наверное, можно проще. sort, вероятно, тоже нужен, но на 3 файлах и без него прокатило.

Answer 2

[sledopit]

sort нужен точно. А на трёх файлах прокатило, потому что повезло. Если бы файлы с похожими именами были бы первым и последним, то не сработало бы.
зы. ради интереса сравните

echo -e "111\n222\n111\n333\n123" | uniq -d
echo -e "111\n222\n111\n333\n123" | sort | uniq -d

Comments

[sledopit]

блин, не туда. это должен был быть комментарий к ответу bagyr

Answer 3

[ursul]

Решение есть =) Меня вполне устраивает.
Можно в принципе допилить, но команда отработала на 150тыс. файлах корректно.

Если кому интересно, вот пример
for f in `find . | tr '[:upper:]' '[:lower:]' | sort | uniq -d`; do find . -iwholename $f; done


Спасибо, bagyr за подсказку.

Comments

[Alukardd]

Во первых, у uniq есть ключ -i и не надо еще до кучи мучать конструкцию tr'ом.
Во вторых, Вы убивец просто! Сейчас что-нить состряпаем. Лучше лишний раз по выводу парсером пробежаться, чем гонять find в цикле.

[Alukardd]

Продолжим далее обсуждение вашей строки — таким макаром вы потеряли все файлы в именах которых был пробел.

[ursul]

Это был тестовый вариант (на коленках). Потом я просто рекурсивно выводил все пути к файлам в out.tmp и прочитал его.
з.ы. С радостью посмотрю Ваш вариант. Для общего ознакомления.

[ursul]

Alukardd, не совсем понимаю, почему теряется пробел? =\

[Alukardd]

Потому что теряется… Так for работает по умолчанию, он бьет всё по [:space:] символу, т.о. отделяя части имени файла.

Answer 4

[Alukardd]

С учётом выше сказанного я просто переписал Ваш вариант.

IFS=$'\n'; for f in $(find /tmp/testdir | sort | uniq -di); do find /tmp/testdir -iwholename "$f"; done

Answer 5

[ursul]

=) Спасибо за переписанный скрипт. Уже все отработало и без цикла по директориям, дабы не нагружать машинку.
По поводу пробелов в именах. На это не обращал внимание, т.к. была 146% гарантия, что файлы без пробелов. Но для заинтересовавшихся моим вопросом, думаю будет полезно.

Comments

[ursul]

Извиняюсь, комментарий для Alukardd