Как большой файл обработать по частям?

Question

[lesh_a]

Есть файл, в котором через перенос строки написаны урл. Нужно каким-то образом вырезать первые 100 урл из файла для дальнейшей их обработки, и таким образом обработать весь файл. Как это можно реализовать?

Comments

[Дмитрий]

На сколько большой файл?

Answer 1

[Эдуард]

lesh_a

$filename = 'text.txt';

$total = 0;
$buffer = [];

$h = fopen($filename, 'r');

while (! feof($h)) {
    if ($total > 100) {
        // var_export($buffer); // Вывести или выполнить обработку каждых 100 строк
        $total = 0;
        $buffer = [];
    }
    $buffer[] = fgets($h);
    $total++;
}

fclose($h);

if (! empty($buffer)) {
//    var_export($buffer); // Вывести или выполнить обработку оставшихся строк
}

Answer 2

[Adamos]

Пишешь JS-скриптик, в котором дергаешь аяксом страничку на РНР, передавая ей параметром N и М.
В РНР пропускаешь N * М строк, обрабатываешь следующие М, возвращаешь ОК.
В JS ловишь ответ, увеличиваешь N и запускаешь следующий цикл.
Будет и правильно, и наглядно.

Comments

[Дмитрий]

Зачем ему js?

[Adamos]

Дмитрий, затем, что задача все равно, скорее всего, решается на веб-сервере, а так он избежит зависаний, таймаутов и пустого ожидания конца работы скрипта, в котором что-то молча пошло не так.

[Дмитрий]

Adamos, а cli уже не модно?

[Adamos]

Дмитрий, а чем для чайника скрипт на баше будет проще скрипта на жабоскрипте?

[Дмитрий]

Adamos, причём тут баш? Я про php-cli где нет лимитов и прочего, чисто бэк

[Adamos]

Дмитрий, человек спрашивает, как жрать слона кусками. Логично предположить, что слон достаточно велик, чтобы получать между этими кусками осознанный отклик и иметь возможность прервать обработку, запомнив позицию хотя бы с определенной точностью. В cli может не быть лимитов по времени, но потечет память, например - и где именно она это сделала, придется гадать либо тратить время на логирование.
В общем, не вижу никаких преимуществ, кроме осознания, что ты крутой, обошелся без браузера, который все равно у тебя под рукой.

[Дмитрий]

Adamos, а что товарищ получит в арбуз? Чтоб все поломалось? Я не говорил что слона не надо есть кусками, просто в данно случае вывод кроме ахтунгов не подразумевается, это скорее подготовка данных перед записью. Типо парсер. Например у него будет скажем функция которая достаёт строки, у неё будет смещение, вторая функция будет пачку ссылок обрабатывать, будет обработчик конкретной ссылки с логом

[Дмитрий]

Я подобное делал через spl
https://www.php.net/manual/ru/splfileobject.seek.php