Работа с большими файлами для preg_match_all?

Question

[Алексей Толстоухов]

$base = file_get_contents("https://site.ru/base.php"); // base.php используется как txt файл.
$text = "Поиск";
preg_match_all('/\b'.$text.'\:(.*)/i', $base, $otvet);

База превышает более 2 млн строк, после запроса нечего не выводит.
Что сделать? fopen пробовал так же...

Answer 1

[Олег]

смотрим размер файла. пусть он 8метров
file_get_contents("https://site.ru/base.php"); - выделено 8+
$base = 16м
на предматч тоже идет оверхед.

так что попробуй скриптам дать 4 размера файла. доступной памяти

Comments

[Алексей Толстоухов]

Делил, на 8 частей базу это где то 250к строк.
Всё равно не работает.

[Олег]

Байтов сколько. Пхп меморе алловед ?

Answer 2

[ksnk]

file_get_contents читает в память. Нет памяти - нет печенек, смотри в логах ошибок... Попробуй читать в цикле fopen-fread не весь файл, а кусочками по 64к, к примеру. Eдинственная проблема - нужно не потерять возможный "хвост", например перекидывая последние 5 символов от предыдущего чтения в начало следующего.

Answer 3

[pantsarny]

приведите пример строк из файла, и размер файла

Comments

[Алексей Толстоухов]

220 мб.
Пример:
Ник:$SHA$16e3f3a2aed6553e$f7a46bde18f62a19f25d15f5e66e0ab71cec07a4022975bad386be485f3932eb

[pantsarny]

Окей, как я понял надо хэш доставать, верно?
Давай сделаем так чтобы не грузилась память - не будем использовать регулярки и не будем файл целиком в память.

<?php

$url = 'http://www.sample-videos.com/csv/Sample-Spreadsheet-10-rows.csv';
$tmp = tmpfile(); // указатель временный файл, который удалится когда скрипт закончит работу

$ch = curl_init($url);
curl_setopt($ch, CURLOPT_FILE, $tmp);
curl_exec($ch); // стоит добавить проверки что файл успешно загружен

rewind($tmp);
while ( ! feof($tmp)) {
    if ('' === ($line = trim(fgets($tmp)))) {
        continue;
    }

    list($nick, $hash) = explode(':', $line, 2);
    // у тебя 2 переменные, $nick, $hash
}

[Алексей Толстоухов]

pantsarny, Можно подробнее об этом скрипте?

[pantsarny]

Алексей Толстоухов, что именно тут расписать подробнее? Приведите несколько строк конкретных из вашей задачи. Я вам просил привести несколько строк, а не одну.

[Алексей Толстоухов]

pantsarny, Возможно пообщаться где то в соц сетях?

[pantsarny]

Алексей Толстоухов, в вк такой же логин