Как использовать python для работы с файлами в очень больших папках?

Question

[Даниил Муйдинов]

Есть папка с огромным числом вложенных папок и файлов на разных уровнях

find . -type f | wc -l
14599651

find . -type f > file_list
отрабатывает хоть и не быстро

Хочу сделать аналогичное используя pathlib, скрипт падает минут через 20 с ошибкой
Process finished with exit code 137

from pathlib import Path


path = Path('/foler')


def get_file_list_pathlib(directory, file_name):
    with open(file_name, "w") as f:
        for path in sorted(directory.rglob('*')):
            if path.is_file():
                f.write(str(path) + "\n")


get_file_list_pathlib(path, 'file_list')

Собрать список файлов не конечная задача, нужно будет собрать разную статистику внутри этого каталога

Как понять что именно стало причинной падения?
Как ее устранить?
Как используя python эффективно работать с очень большими папками (много вложенных подпапок и фалов)?

Comments

[longclaps]

Падает без сообщения об ошибке?

[Даниил Муйдинов]

longclaps,
Process finished with exit code 137

Answer 1

[sim3x]

https://docs.python.org/3/library/os.html#os.walk
или
https://docs.python.org/3/library/os.html#os.scandir

Answer 2

[skrimafonolog]

Например, sorted()
Для работы этой функции поди нужно весь список иметь загруженным в оперативную память?
Посмотрите сколько жрет ваша программа оперативки.

Может статься, чо для такого большого количества файлов, пожалуй, что и не желательно их перебирать, загружая список в память целиком.

Comments

[Даниил Муйдинов]

убрал sorted()
отработал 11104081 файлов и упал в
Process finished with exit code 137

[skrimafonolog]

Даниил Муйдинов,

убрал sorted()
отработал 11104081 файлов и упал в
Process finished with exit code 137

что же вы так прямолинейно востринимаете.
а то, что передано было в sorted() - это что? разве это не полностью полученный список?
вам уже ответил sim3x

[Andrey Dugin]

skrimafonolog, в sorted() передаётся генератор:

[skrimafonolog]

Andrey Dugin, теперь смотрите исходники генератора

[Andrey Dugin]

skrimafonolog, бегло посмотрел. Нашёл создание списка каталогов, список файлов не нашёл:

class _RecursiveWildcardSelector(_Selector):

    def __init__(self, pat, child_parts):
        _Selector.__init__(self, child_parts)

    def _iterate_directories(self, parent_path, is_dir, scandir):
        yield parent_path
        try:
            entries = list(scandir(parent_path))  # <-- список создаётся здесь
            for entry in entries:
                entry_is_dir = False
                try:
                    entry_is_dir = entry.is_dir()
                except OSError as e:
                    if not _ignore_error(e):
                        raise
                if entry_is_dir and not entry.is_symlink():
                    path = parent_path._make_child_relpath(entry.name)
                    for p in self._iterate_directories(path, is_dir, scandir):
                        yield p
        except PermissionError:
            return

Могу сказать, что у меня под Ubuntu есть датасет из 300К файлов в одном каталоге, на котором умирают линуксовые команды mv и cp. Но при этом Path().glob() справляется без проблем, скрипт не падает.