Как считать 10 последних строк файла?

Question

[bopax]

Сабж в заголовке. Файл весь грузить не хочу - он может быть большим. Хочу замутить что-то на тему fseek/fgets, но не знаю как именно... Надо ведь именно с конца файла, а fgets читает вперед, а не назад.

Answer 1

[Immortal_pony]

$file = new SplFileObject("file.txt", "r");
$file->seek(PHP_INT_MAX);
$lastLine = $file->key();
$lines = new LimitIterator($file, $lastLine-5, $lastLine);
var_dump(iterator_to_array($lines));

Comments

[bopax]

Во! Это работает, спасибо! Только переносы строк остаются в строках. А есть какой-то итератор которые их на лету за trim-ит? Можно конечно с полученным массивом это сделать, но так было бы быстрее. Что-то типа MapIterator

[FanatPHP]

Ты бы особо не обольщался
волшебного способа сделать seek на строчку не существует
то есть этот код скорее всего будет тупо читать файл построчно, до конца
так себе удовольствие в плане производительности. Ты поменял шило на мыло - сэкономил память, но потерял в скорости выполнения.

[FanatPHP]

Это конечно позор, что самый тупой второй по тупости после file() ответ с перебором всех строк в файле так и висит в принятых

[Immortal_pony]

FanatPHP ты не ленись - напиши как правильно.
Я его решением отмечу, мы вместе лайкнем и будет он первым.

[FanatPHP]

а существующих ответов типа недостаточно? там слишком непонятно объясняется решение этой невероятно сложной задачи?

Answer 2

[Stimulate]

$lines = file('./file.txt');
$last_10 = array_slice($lines , -10);

print_r($last_10);

Comments

[bopax]

Я же написал - файл грузить весь не вариант. Память всю выжрет.

[FanatPHP]

сотри ради бога этот ужас, не позорься

[Stimulate]

FanatPHP, аргументируй

[FanatPHP]

файлы бывают не только как у тебя, из полутора строчек
а бывают и по полтора гигабайта.
не говоря уже о том, что у тебя массив сдохнет уже на первой сотне тысяч строк

[Stimulate]

FanatPHP, Про "грузить файл" речи не было, когда я писал ответ, а твой стиль общения оставляет желать лучшего, адиос.

Answer 3

[necrodeflorator]

Именно на пхп надо? В линухе есть tail как раз делает что тебе надо.

На пыхе наверно fseek на последний символ и читать один символ, потом fseek на предпоследний и так далее, складывая это дело в стек, проверяя не перенос ли это. Если перенос- писать в стек строк и начинать копить ещё одну строку. Но выглядит как-то муторно, да и кодировку файла нужно знать, и переносы в разных осях разные, тоже надо учитывать.

Comments

[FanatPHP]

ну если муторно, то может быть тогда сикать не на один байт, а на побольше?

[bopax]

Ну проект на пхп. Да, я и думал про fseek, но нормального способа реализации не смог придумать. Кодировка то скорее всего не имеет значения, а вот то что переносы могут быть и \r\n и только \r это да... Попробую юзать реализацию которую скинули выше. Не уверен насколько она оптимальная, но на самом деле мне не столь важно... Логи просто хотел на страницу вывести)))

P.S. Как вариант можно проверить - если система Linux то дернуть tail через exec, а иначе на пыхе реализацию...

[necrodeflorator]

FanatPHP, точно, спасибо за поправку. Действительно забирать чанк нужного размера и его уже в памяти анализировать.

Answer 4

[Stalker_RED]

Без ООП, зато не нужно лопатить весь файл целиком.

// 4096 отступ от конца файла. Число с потолка, если знаете примерную длину строк, можете указать более подходящее число
$lines = get_lines('/pant/to/somefile.txt', 10, 4096); 
print_r($lines);

function get_lines($fileName, $linesLimit, $tailOffset = 1024, $handle = null, $size = null) {
    if (!$size) $size = filesize($fileName);
    if (!$handle) $handle = fopen($fileName, 'r');
    fseek($handle, $size - $tailOffset); // установим смещение _почти_ в конец файла, отступив от конца на $tailOffset
    $lines = [];
    while (($line = fgets($handle)) !== false) {
        $lines[] = $line;
    }

    $linesCount = count($lines);
    if ($linesCount > $linesLimit) { // нашлось более десяти строк
        $result = array_slice($lines, $linesCount - $linesLimit); // берем десять последних, бинго!
    } else {
        // если получили меньше строк, увеличим отступ
        $tailOffset *= ceil($linesLimit / $linesCount);
        $result = get_lines($fileName, $linesLimit, $tailOffset, $handle, $size);
    }

    return $result;
}

Comments

[FanatPHP]

почти хорошо, но "здесь нужно снова fseek, прочитать строки" это конечно стыдно :)
это же элементарный do-while.
плюс читать через fgets бессмысленно - все равно же нужен массив. проще прочитать весь кусок целиком
код станет сильно проще.

[Stalker_RED]

FanatPHP, лучше с рекурсией, имхо. (обновил код)
Потестил на 700-метровом sql-дампе. Даже если задавать дикие стартовые числа, типа 10 байт, то максимум с третьей попытки находилось нужное смещение.

Чисто в теории, в файле могут быть очень длинные строки, и код придется делать еще более сложным. А fgets насколько я помню, довольно сильно заоптимизирован, самодельная разбивка на строки не факт, что будет эффективнее.
Но бенчмарки я проводить конечно же не буду)

[FanatPHP]

читать сразу кусок кода разумеется эффективнее чем пусть даже и заоптимизированно, но построчно.
но по сути на 10 строках разница не видна конечно. Это не поняшин перебор всех строк в файле

Но вот рекурсия со стеком вместо тупого do while - это все же жесть.

Answer 5

[s5656]

Почему никто документацию не читает?
Пример на коленке, но смысл понятен.

<?php
$fp = fopen('filename', 'r');
fseek($fp, -1, SEEK_END);
$result = '';
$lineCounter = 0;
while ($lineCounter !== 10 && ftell($fp) !== 0) {
	$byte = fread($fp, 1);
	if ($byte === "\n") {
		$lineCounter++;
	}
	fseek($fp, -2, SEEK_CUR);
	$result = $byte . $result;
}

echo $result;