Как осуществить чтение большого файла на python?

Question

[AleksRT]

Есть лог весом в 2гб, нужно посчитать статистику по одному из полей, однако, при чтении его возникает ошибка list index out of range, что делать?

Comments

[Andrey Dugin]

Код - в студию!

[AleksRT]

@adugin

Traceback (most recent call last):
  File "C:/Users/Rt/PycharmProjects/project/main.py", line 47, in <module>
    get_statics('server_sent', string, 'date')
  File "C:/Users/Rt/PycharmProjects/project/main.py", line 12, in get_statics
    a = fields(line)
  File "C:/Users/Rt/PycharmProjects/project/main.py", line 38, in fields
    'date': field[2],
IndexError: list index out of range

[AleksRT]

@adugin link

Answer 1

[Andrey Dugin]

Вот вам для вдохновения:

#!/usr/bin/python2.7
# -*- coding: utf-8 -*-

from collections import namedtuple

ntrow = namedtuple('ntrow', "f0, f1, mydata, f3")

with open('data.log', 'r') as f:
    for line in f:
        splitted = line.strip().split(', ')
        if len(splitted) == 4:
            entry = ntrow(*splitted)
            if entry.mydata.isdigit():
                print int(entry.mydata)

Содержимое файла:

oweifoewi, oiud, 873, sdioju
oweifoewi, oiud, 2, ioju
oweifoewi, oiud, 849, dioju
oweifoewi, oiud, 43, sdioju

Comments

[AleksRT]

спасибо) действительно, добавил проверку на количество полей, и всё работает)