Как реализовать прогрессбар при обработке файла в Python?

Question

[Алексей]

Встал вопрос обработки файла с большим количеством строк (более миллиона). По совету из статьи решил использовать tqdm.

Но не могу понять, как его интегрировать в код. Из-за большого размера файла не хочу создавать список, чтобы не жрало память.

with open("test.txt") as file:
    for line in file:
        a = str.strip(line)
        h = func_1(a)
        func_2(a, h)

Answer 1

[Ternick]

Вообще на самом деле так себе идея, но вам виднее)

В любом случае нужно знать количество строк в файле, поэтому, самый простой вариант, что я знаю, такой:

Code

from tqdm import tqdm

with open("test.txt") as file:
	num_lines = sum(1 for line in file)

	file.seek(0)

	with tqdm(total = num_lines) as pbar:

		for line in file:
			a = str.strip(line)
			h = func_1(a)
			func_2(a, h)
			
			pbar.update(1)

В целом на stackoverflow, есть целая статья, где рассматриваются разные варианты получения количества строк в файле, можете выбрать более оптимизированный, если этот вам не подойдёт.

Документация относительно tqdm.

Comments

[Алексей]

Спасибо огромное за быстрый и подробный ответ с решением! Я только начал изучать и, видимо, "изобретаю велосипед", да ещё и на 1,5 колеса ).

Возможно подскажете, куда смотреть для решения такой задачи?

[Ternick]

Алексей, не не подскажу, дело в том, что в данном контексте мы выполняем лишнее действие, в данном случае получаем кол-во строк в файле, ради того чтобы видеть прогресс, что замедляет сам алгоритм, но это моё мнение.

[o5a]

Ternick, если эти функции обработки действительно значительное время занимают, то может быть полезно. Сам по себе перебор миллиона строк довольно быстрый.

[Ternick]

o5a, Вы видимо не знаете что такое миллион строк)
Тут вся сила в том, что строки могут быть ещё и очень длинные.
Я однажды открыл файл всего с 1 строкой и notepad ++ завис и умер =/