Python как разделить текстовый файл на несколько по длине строки?

Question

[Илья Гарбажий]

Есть огромный текстовый файл с именем words_alpha.txt, формата:

Слово1
Слово2
Слово3
и т.д.

Нужно разделить его на несколько файлов по длине строки (слова). То есть в файле words1 слова, состоящие из одной буквы, в words2 - из двух букв, и т.д. Сколько будет в итоге файлов неизвестно. Отмечу, что в исходном файле размер слов идёт не по порядку, и не подряд.

Answer 1

[Владимир Куц]

f_handlers = {}
with open('words_alpha.txt', 'r') as inp_file:
    for line in inp_file:
        w_len = len(line.strip())
        if w_len == 0:   # исключаем слова с нулевой длиной
            continue
        fn = f'words_{w_len}.txt'
        f = f_handlers.setdefault(fn, open(fn, 'w+'))
        f.write(line)

for handler in f_handlers.values():
    handler.close()

В папке создаст файлы с искомым вида
words_<число>.txt

Comments

[Сергей П]

Я бы предложил небольшой рефакторинг для вашего кода, коллега:

f_handlers = {}
with open('words_alpha.txt', 'r') as inp_file:
    for line in inp_file:
        w_len = len(line.strip())
        if w_len == 0:   # исключаем слова с нулевой длиной
            continue
        fn = f'words_{w_len}.txt'
        f = f_handlers.setdefault(fn, open(fn, 'w+'))
        f.write(line)

for handler in f_handlers.values():
    handler.close()

[Владимир Куц]

Сергей Паньков, разумно. Спасибо

[Сергей П]

В частности здесь меньше путаницы с ключами и именами файлов, шаблон для генерации имени употреблён единожды и по хорошему должен быть вынесен в константу, использован специальный метод словаря для получения хендлера, более корректно обходятся открытые хендлеры для закрытия.

Стоило также упомянуть, что в ОС часто сильно ограничено количество одновременно открытых файлов. Данная задача рискует превысить это ограничение.
Имеет смысл реализовать простой кеш, реализованный с использованием счетчиков:
Отдельным инстансом collections.Counter считаем количество слов каждого размера и для первых M штук (по количеству вхождений) держим в словаре файлы открытыми, а для остальных переоткрываем по необходимости.

Answer 2

[Сергей Тихонов]

Ну так читаете и по длине строки пишите в разные файлы.

Answer 3

[Сергей П]

py "('x'*random.randint(1, 10) for _ in range(100))" | \ 
py -x "open(f'tmp/path_to_dest_folder/words_len={len(x):05}.txt', 'a').write(x+'\n')"

Первая строчка генерит слова, в вашем случае там будет cat big_file.txt.
Вторая строчка разгребает все по файлам.