Как еще можно обратиться к предыдущей строке при переборе файла?

Question

[Roman Ratkin]

Всем доброго времени суток.

Подскажите, написал несложный парсер лог-файла fetchmail. Результатом анализа является словарь. Суть в том, что я искал строку в которой есть подстрока 'Domain not found', из неё получал почтовый адрес и мне нужна была еще предыдущая строка, строка в которой указано для какого пользователя выполнялось действие:

fetchmail: reading message [e-mail]@imap.yandex.ru:1 of 1 (1515 header octets) (log message incomplete)
fetchmail: SMTP error: 450 4.1.8 <[e-mail]>: Sender address rejected: Domain not found

Алгоритм получился такой:

previos_str = ''

with open(logfile, 'r', encoding='utf-8') as log:
    for line in log.readlines():
        if 'Domain not found' in line:
            if previos_str:
                recipient_addr = previos_str.split('fetchmail: reading message ', 1)[1].split('@imap.yandex.ru')[0]
                sender_addr = line.split('fetchmail: SMTP error: 450 4.1.8 <', 1)[1].split('>: Sender address rejected: Domain not found')[0]

                if recipient_addr not in result_parse:
                    result_parse.setdefault(recipient_addr, [sender_addr])
                elif sender_addr not in result_parse[recipient_addr]:
                    result_parse[recipient_addr].append(sender_addr)

        previos_str = line

Меня смущает костыль previos_str = line. Можно как-то еще обратиться к предыдущей строке?

Comments

[sim3x]

А откуда у вас база для рассылки?

[Roman Ratkin]

sim3x, это не рассылка. Менеджеры общаются с клиентами и у некоторых "отлично" настроено сообщение о том, что им было доставлено письмо. База клиентов нарабатывалась много лет, не где-то купленная. Надеюсь, правильно понял ваш вопрос. :)

[sim3x]

Roman Ratkin, ваше решение норм

Только вместо log.readlines() просто log, так у вас файл не будет читаться в память весь

[Joss Nix]

Если оставить только log, то можно будет с индексами поиграться. Будет нечто подобное

for index, line in enumerate(log)):
        if 'Domain not found' in line:
            if (log[index-1]):
                ...

[Roman Ratkin]

Jossnix, интересно, сходу, правда, не завелось.

Answer 1

[Сергей Горностаев]

from itertools import zip_longest

with open(logfile, encoding='utf-8') as fh:
    for p, n in zip_longest(fh, fh):
        ...

В p предыдущая строка, в n следующая. Надо только учитывать, что в конце файла n будет равна None.

Comments

[Roman K]

Только эта штука будет читать файл через строку, что усложнит остальную логику. Логичней юзать tee

[Roman K]

А, понял, ТСу так и надо.

[Roman Ratkin]

И, если я правильно понял, то должно быть

for p, n in zip_longest(fh, fh[1:]):

Спасибо!

[Сергей Горностаев]

Roman Ratkin, не, не должно.

[Roman Ratkin]

Сергей Горностаев, если без среза, то у меня n = p.

[Сергей Горностаев]

Roman Ratkin, но как?! В переменной fh хэндлер файла, он вообще не поддерживает индексирование.

[Roman Ratkin]

Сергей Горностаев, я понял почему. Да, срез не нужен.

Answer 2

[Joss Nix]

Roman Ratkin, Поэкспериментировал с массивом строк, всё отработало

openedFile = ['aaa', 'bbb', 'ccc', 'xxx']

for index, line in enumerate(openedFile):
        if 'c' in line:
            if (openedFile[index-1]):
                print(openedFile[index-1])

В вашем случае, можно попробовать немного изменить код

with open(logfile, 'r', encoding='utf-8') as log:
    tmpLog = log.readlines()
    for index, line in enumerate(tmpLog)):
        if 'Domain not found' in line:
            if (tmpLog[index-1]):
                ...

Comments

[Roman Ratkin]

Да, работает! Это я косяк.