Как читать изменяющийся файл в python?

Question

[Сергей Кутылев]

Есть лог файл в котором постоянно появляются новые строки.
Задача постоянно читать этот файл если информация появляется то необходимо ее парсить и отправлять дальше.
На ум приходит только tell(), seek() и time.sleep(). Есть какие-то наиболее адекватные варианты для этого?

Answer 1

[sim3x]

https://github.com/bgreenlee/pygtail

Answer 2

[Yaroslav Lyzlov]

1) Вместо файла использовать базу, на которую можно повесить какой-нибудь каллбэк на изменения.
2) Либо https://github.com/seb-m/pyinotify

Comments

[Сергей Кутылев]

1) Увы например Microsoft NAP Server пишет только текстовые логи, придется тогда какую-то прослойку делать.
2) Спасибо, а я почему-то думал что отслеживать фс можно как-то проще встроенными os, sys.

[Yaroslav Lyzlov]

Сергей Кутылев: Только я не уверен, что pyinotify работает с Windows семейством. Поищите альтернативу.

[Сергей Кутылев]

Да у меня папка с логами смонтирована в linux машину :)

[Yaroslav Lyzlov]

Тогда должно помочь :)

Answer 3

[Сергей Кутылев]

Спасибо, я как раз что-то похожее набросал)

import time


def read_realtime(log):
    log.seek(0, 2)
    while True:
        row = log.readline()
        if not row:
            time.sleep(0.1)
            continue
        yield row

log = open("IN1511.log", "r")
log_rows = read_realtime(log)
for row in log_rows:
    print(row)