Как прочитать из файла только последние 30 строк?

Question

[Igor Nikolaev]

Вопрос лаконичный, нужен аналогичный ответ :)
Задача - получить статистику из 100500 лог-файлов, размером по 1-30 Мб.
Для ускорения процесса, считаю целесообразным читать только 30 последних строк в файле, которые содержат всю необходимую мне информацию.
Как это сделать на Python?

Answer 1

[Лев]

import os
r = os.system("tail -n 30 /path/error.log")
print(r)

Comments

[Павел]

Да да... ведь Python это не что иное как вычурный способ запускать бородатые утилиты в баш..
seek() ? не не слышал... а вообще, лучше через python сохранить текстовый файл с си кодом, а потом через python запустить компилятор... ой постойте..

[Лев]

Павел: вы можете продолжать делать так, как вам удобнее

[Павел]

Лев: всенепременнейше-с, милоситвый государь, как угодно-с

Answer 2

[Максим Мосейчук]

Получить размер файла.
Открыть файл.
Зная размер файла сделать seek в конец.
Считывать файл посимвольно с конца до 30-ти переводов строк.

Для этого есть готовая команда tailtail -n 30 mylog.log

Comments

[Igor Nikolaev]

Спасибо. В виде примера кода или ссылки, можно получить?

Answer 3

[sim3x]

stackoverflow.com/questions/260273/most-efficient-...
https://docs.python.org/2/tutorial/inputoutput.htm...

Answer 4

[andrey_ado]

from collections import deque

with open(file_name) as f:
        print(list(deque(f, 30)))

Или построчно

with open(file_name) as f:
        for row in deque(f, 30):
        	print (row.strip())

Comments

[Igor Nikolaev]

Первой строчкой вы открываете файл целиком, или я ошибаюсь? Взять из уже открытого файла последние строки - не проблема. Вопрос был в другом.

[andrey_ado]

Igor Nikolaev: и как же вы собираетесь что то взять из закрытого файла?
Пока его не откроешь, это всего лишь намагниченные участки на блине HDD.
Если найдете способ получить чтото из файла, не открывая его, получите Нобелевскую премию.)))
У вас видимо серьезные пробелы в базовых знаниях.
Когда мы "открываем" файл, мы получаем к нему доступ, и работаем с ним через его хэндл.

[Igor Nikolaev]

andrey_ado: Спасибо, немного затупил. Теперь все понял.

[andrey_ado]

Igor Nikolaev: вот ТУТ:
stackoverflow.com/questions/136168/get-last-n-line...
люди мучали самое быстрое считывание последних строк.
Можете поэкспериментировать. Библиотеки питона это скомпилированный быстрый код на С, при работе с файлами уж точно. И вряд ли вы напишите что-то эффективней разработчиков.

[Igor Nikolaev]

andrey_ado: Так я не пытаюсь :) Я ставил конкретный вопрос - как решить мою задачу. Я совсем новичок и только учусь. Спасибо за ссылку.

[andrey_ado]

Igor Nikolaev: я тоже не профи, и на питоне пишу недавно. В знаниях вперед нас двигают задачи, вопросы и ответы. Удачи.