Денвер сообщает о нехватке памяти?

Question

[Виталий Питерский]

Записываю содержимое файла csv в массив. Код:

<?php
$res = array();
if (($file = fopen('data44.csv', 'r')) !== false) {
  while (($data = fgetcsv($file, 15, ";")) !== false) {
    $res [] = $data;
  }
  fclose($file);
  }
var_dump($res);
print_r('Завершено!');
?>

В браузере получаю сообщение:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 32 bytes) in indexOut.php on line 4
Файл csv с размером строк 200 тыс.

Винда 10 64 бита. Памяти 8 Гиг.

Comments

[Владислав Лысков]

денвер? зачем вы его выкопали? закопайте обратно

[Виталий Питерский]

Владислав Лысков, Извините, но Вы своё ФЕ высказали, а предложить что-то конструктивное? Иначе зачем комментировать не отвечая.

[Дмитрий]

Виталий Питерский,
1. Найти php,ini и увеличить память memory_limit
2. Не запихивать большие файлы в память.
3. Реально закопать денвер. Хватит разврата

2-3 пункты - вообщем то обязательные

[Сергей delphinpro]

Дмитрий, ну допустим на локалке он может выкрутить лимит в бесконечность, установив значение "-1" в php.ini. А что делать на хостинге потом? Вряд ли там дадут больше 128 мб.
Тут один нормальный выход - писать скрипт нормально.

ЗЫ. Денвер, конечно, закопать можно, но проблема вообще не в нём.

[Виталий Питерский]

Сергей delphinpro, Понял о ком Вы. Но не справедливо сразу программиста обвинять в том, что он ПОКА не знает, но ищет ответы. Вы, как бы, тоже родились не со всеми этими знаниями, а приобретали их и наверняка тоже интересовались у знающих. Извините, если обидел.
По моему вопросу. Ставлю OpenServer.

[Виталий Питерский]

И сразу же вопрос, каким способом мне считывать большой файл и записывать в массив средствами php?

[Сергей delphinpro]

Виталий Питерский, Я Дмитрию намекнул о том, что совет "Найти php,ini и увеличить память memory_limit" не очень хороший.

[Сергей delphinpro]

Виталий Питерский,

И сразу же вопрос, каким способом мне считывать большой файл и записывать в массив средствами php?

Конечная цель - записать в массив? Нет. Вы что-то хотите сделать с этими данными. Обрабатывайте файл частями, чтобы памяти хватало.

[Дмитрий]

Сергей delphinpro, по этому я написал что 2-3 пункты обязательные, а 1 нет. Ну и проблема конечно не в денвере, однако же если сейчас полезть гуглить варианты как работать с большими файлами, 90% всех решений будет не реализуемо, потому что поддержка денвера умерла лет 20 назад, и те версии LAMP которые он ставит ну еще динозавров помнят

[Дмитрий]

Виталий Питерский, а зачем ставить OpenServer? Если вы собираетесь писать свой пет проект чисто для себя - то не вопрос. Однако же если вы собираетесь работать - то открою страшную тайну, ни на одном рабочем сервере вы не найдете OpenServer. Лучше уж сразу разбираться с тем как это все поднимается и настраивается.

[Ипатьев]

Записываю содержимое файла csv в массив.

Зачем?

[Виталий Питерский]

Ипатьев, Потому что основная задача следующая:
В определённом поле файла есть строки в перемешку с другими символами, мне необходимо из этих строк "вычленить" слова на кириллице и сравнить с содержимым другого файла.
Схематически это выглядит так:
Из файла data44.csv из поля Cargo необходимо "вычленить" слово в кириллице
(Пример: "Варочные поверхности индукционные") выявляю словосочетание "Варочные поверхности", затем сравниваю с файлом, где в таблице в поле Cargo_int нахожу это же словосочетание, а из поля Category выбираю словосочетание "Бытовая техника" и в результате выгружаю в третий файл result.csv котрый содержит 2 поля Cargo и Category.
Фото прилагаю.

[Ипатьев]

а в массив-то для этого зачем собирать?

[Виталий Питерский]

Ипатьев, Разве можно сразу на прямую обрабатывать данные из файла? Если возможно ответить то как мне поступить? Спасибо.

[Ипатьев]

Что значит "возможно"? А код у вас в вопросе что делает? Он и обрабатывает "данные из файла"
только вместо того чтобы делать все что написано выше, он зачем-то запихивает в массив
я и спрашиваю, в чем смысл в массив-то пихать?

Этот весь диалог какой-то странный. Типа:
- Я хочу поесть борща. Поэтому я беру борщ ложкой и наливаю в карман. Но из кармана течёт на штаны. Как сделать так чтобы на штаны не текло?
- Зачем наливать борщ в карман?
- А разве можно есть сразу?

А кто мешает-то?!

[Виталий Питерский]

Ипатьев, Кодом я загоняю данные в массив что бы потом обработать данные. Всё верно. Однако задавая вопрос ожидается ответ КАК сделать, а то что ТАК делать нельзя или не стоит уже понятно. Так что да, разговор на уровне того, что Вы изложили.

[Ипатьев]

чтобы потом обработать

Я и спрашиваю, ЗАЧЕМ потом-то? Почему нельзя сразу борщ есть? :)
Почему нельзя сразу и обрабатывать?

[Виталий Питерский]

Ипатьев, Для чего я изложил схематично.

[Ипатьев]

Я не вижу никакого объяснения, почему надо обязательно "потом", а нельзя обрабатывать строку сразу по получении её из файла.

[Ипатьев]

Я так понимаю, вы хотите написать что-то вроде такого

while (($data = fgetcsv($file, 15, ";")) !== false) {
    // здесь получаем данные в массив
  }

foreach ($res as $data) {
    // здесь обрабатываем данные из массива

}

Но не понимаю зачем. В чем смысл делать два цикла? Почему нельзя сразу обрабатывать в первом?

иногда причина действительно есть. Но здесь я её не увидел

[Виталий Питерский]

Ипатьев, Верно, ну и запись результата в 3й фал.

[Виталий Питерский]

Ипатьев, Я же говорю, если не нужно, то не нужно. Я пошёл по традиционному пути это создать массив и обрабатывать данные в нём, он я окончательно понял, что этого делать не стоит, а можно на прямую обработать данные из файла минуя массив. Всё, мне это понятно. Вопрос про массив закрыт.

[Дмитрий]

Виталий Питерский, ну вообще памяти выделили мало, верно написали, сохранять промежуточные данные тоже не за чем
Верным вариантом будет загнать ваши csv сразу в базу данных, импорт из csv есть в том же phpmyadmin. И не работать с файлами построчно

Answer 1

[mayton2019]

По поводу data44.csv и прочего.

Обычно разработчики не прогружают файлы целиком в memory. Это опасно.
Файл имеет право во много раз превышать оперативу по размеру. И даже если
тебе кажется что файл (влезет) на глазок, то будучи сериализованным в PHP
array он может иметь накладные расходы.

Для альтернативы var_dump попробуй распечатать его по строкам

while (($data = fgetcsv($file, 15, ";")) !== false) {
    print($data);
}

Comments

[Ипатьев]

попробуй распечатать его по строкам

ЗАЧЕМ?
В чем смысл выводить 200 тыс. строк?

[Михаил Ливач]

Ипатьев, у автора вопроса в конце стоит var_dump(). mayton2019 предложил более экономичный вариант :)

но он всё равно бесполезен, так как скрипт падает раньше

[mayton2019]

Политика QNA это - ответы на вопросы. Автор спрашивает вопрос. Мы отвечаем ответ.
Очень верно задан вопрос - зачем 200 тыс. Я не знаю зачем. Если печатать это на принтере
то понадобиться 4000 листов бумаги А4.

Ясное дело что автор никогда это глазами не осилит посмотреть. И я надеюсь что он
это быстро поймет. Нужно будет добавить ограничитель чтоб while покзывал хотя-бы
первые 100 строк к сведенью.

[Виталий Питерский]

mayton2019, Автор ответил на вопрос "почему 200 тыс строк". Чуть выше это видно...