Как лучше читать файл?

Question

[Aragorn]

Какой код лучше с точки зрения скорости выполнения:

with open('hello.txt', 'r') as file:
    a=file.read()

или

a=''
with open('hello.txt', 'r') as file:
    for line in file:
        a += line

Answer 1

[Dimonchik]

https://dev-gang.ru/article/kak-izmerit-vremja-vyp...

если без разницы - 1-5Гб файл сделай

P.S. быстрее будет первый - обертка над OS, второй терпимее к памяти

Comments

[Vindicar]

второй терпимее к памяти

Абсолютно неверно. При конкатенации строк питон будет создавать новую строку и выделять память под неё.
Так что чтобы добавить последнюю строчку к гигабайтному файлу, придётся выделить 2ГБ памяти.

[Dimonchik]

так таки и абсолютно?

a=''
with open('file.txt', 'r') as file:
    for line in file:
        a += line
        print(sys.getsizeof(line), sys.getsizeof(a))

print('break line'*10)

with open('file.txt', 'r') as file:
    a=file.read()
    print(sys.getsizeof(a))

конечно такое измерение не со всем верное - не учитываются ссылки, но никакого увеличения размера line не происходит

[Vindicar]

Dimonchik,
1. с какого перепугу должен увеличиваться line, если эта строка читается заново.
2. через getsizeof() ты увеличение потребления памяти не увидишь. До конкатенации a будет указывать на старую строку, а новая еще не будет существовать, а после конкатенации a будет указывать на новую строку, а старая может быть уже собрана сборщиком мусора. Проблема в том, что в процессе конкатенации выделяется дополнительная память.
Достаточно посмотреть на исходники CPython, функция PyUnicode_Concat(). В ней мы видим два интересных момента:
1. определение длины итоговой строки
new_len = left_len + right_len;
2. Создание новой строки с этой длиной
result = PyUnicode_New(new_len, maxchar);
Начиная с этого момента, в памяти одновременно существуют обе исходные строки и результирующая, и их надо где-то разместить, а это может потребовать свопа части памяти на диск, что ещё дольше.

И проблема с конкатенацией в цикле в том, что это выделение и освобождение памяти в куче будет повторяться циклически, а это не совсем дешевая операция. А так как в питоне строки неизменяемы, то и в других интерпретаторах эта операция будет реализована схожим образом, я полагаю.

[Dimonchik]

Проблема в том, что в процессе конкатенации выделяется дополнительная память.

в размере всего файла? )

баланс между процом и памятью никогда не достижим - либо проц: сжатие/разжатие, конкатенации etc, либо память
проц, как правило, в вебе никогда не загружен сильно (ну 25% от силы), а вот память как раз зажата, процессорные и io манипуляции для уменьшения памяти и предназначены

я согласен что надо пояснить развернутее, что имел в виду про "терпимее к памяти", повторюсь: второй способ чтения использует меньше памяти в любой момент времени, но для процессора да - он дороже

Answer 2

[Александр Нестеров]

Первый, разумеется.
Любая встроенная функция будет с 99.9% быстрее самопального аналога.
И .read() очевидно быстрее цикла.

Answer 3

[alekssamos]

Если файл большой, например, CSV 4 ГБ, тогда нужно обрабатывать по одной строке за раз.
То есть примерно так:

def main():
    original_file = "pp-complete.csv"
    with open(original_file, encoding="UTF-8", newline="") as of:
        reader = csv.reader(of)
        for row in reader:
            Transaction_ID, Price, Date_of_Transfer, Postcode, Property_Type, Old_or_New, Duration,
                        PAON, SAON, Street, Locality, Town_or_City,
                        District, County, PPD_Category_Type, Record_Status = row
# что-то делаешь дальше именно с этой с одной строкой
# и идёшь дальше