Владимир, для диска, живущего полгода, больше одного-двух pending уже само по себе плохо. Хорошо если это просто перебои питания в момент записи, но боюсь проблема уже в самом диске.
wisgest, тем, что сравнение по контрольным суммам требует прочитать стопицот файлов по одному разу, а по содержимому может потребоваться не один раз.
Совпадение в начальных байтах для файлов одинаковой структуры может быть весьма частым.
Но вообще очень сильно зависит от количества и характера файлов. Мы же не знаем, что там у автора. Может, у него по 100 файлов надо сравнить, а не 100 миллионов. И вообще, можно же сравнивать файлы по содержимому только с одинаковым размером. Если, конечно, там не нужно искать частичное соответствие, что также может требоваться (судя по упоминанию сравнения построчно).
Если хочется сравнивать файлы при несовпадении имён, то это можно делать по контрольным суммам (MD5, например). Для одинаковых файлов они будут одинаковы.
dmshar, до кучи, его ошибка уже в runtime случилась, а отсутствие скобок у print случается на этапе компиляции. Так что я не верю в третий питон в данном случае.
dmshar, да хоть просто потому, что поставил по первому попавшемуся руководству. Или вот, например, в Linux до сих пор много где py2 по умолчанию, и новички часто сталкиваются с проблемами из-за этого.