@reus

Максимальное количество строк файле, для нормального его чтения?

Подскажите пожалуйста. У меня есть файл сгенерированый из данных БД
Каждая строчка выглядит так:
2431387 ce/ce41395ee6b9cd31a89db1fb60646c.JPG ce/thumbs/ce41395ee6b9cd31a89db1fb60646c.JPG old-2015-1/1/7\n

(Номер путь1 путь2 путь3)
Файл весит ~ 900 мб, в нем ~5.9 млн. строк
Читаю только с помощью readline()
Стоит ли его разбивать на части, а если стоит, то на сколько частей разбить? (Скрипт переносит изображения, будет запускаться на сервере (~10-15 гб оперативки свободной есть, так что ограничения только по hdd + cpu))
  • Вопрос задан
  • 1087 просмотров
Пригласить эксперта
Ответы на вопрос 1
@d1skort
junior
Всё что тебе нужно это:
with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

Читаем по одной строке, не загружая весь файл в память.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы