Максимальное количество строк файле, для нормального его чтения?

Question

[reus]

Подскажите пожалуйста. У меня есть файл сгенерированый из данных БД
Каждая строчка выглядит так:

2431387 ce/ce41395ee6b9cd31a89db1fb60646c.JPG ce/thumbs/ce41395ee6b9cd31a89db1fb60646c.JPG old-2015-1/1/7\n

(Номер путь1 путь2 путь3)
Файл весит ~ 900 мб, в нем ~5.9 млн. строк
Читаю только с помощью readline()
Стоит ли его разбивать на части, а если стоит, то на сколько частей разбить? (Скрипт переносит изображения, будет запускаться на сервере (~10-15 гб оперативки свободной есть, так что ограничения только по hdd + cpu))

Answer 1

[Влад]

Всё что тебе нужно это:

with open("log.txt") as infile:
    for line in infile:
        do_something_with(line)

Читаем по одной строке, не загружая весь файл в память.

Comments

[reus]

я так и делаю. А как лучше, читать через readline() или next()/.next()?

[Влад]

reus: в переменной line у тебя уже лежит прочитанная строка.