PHP — не считывается полный файл. Памяти и времени хватает?

Question

[lanabel]

Имеется скрипт, который прекрасно работал на локалхосте уже 2 года на разных версиях php — подгружает и парсит данные из csv файла. Собственно, файлы не такие уж и большие — максимальный — 22 Мб.

После очередной переустановки системы (win7 64bit ultimate на аналогичную home premium) и перенастройки веб-сервера (установка новых минорных версий апача, php и mysql) импорт вдруг не заладился — команды file, fgets, file_get_contents и прочие вдруг начали выдавать только кусок файла. Всё пляшет вокруг цифры примерно в 65 Кб, больше точно не считывает, иногда меньше.


В конфиге прописано memory_limit = 512M, max_execution_time = 1800


Полный конфиг пхп: pastebin.com/rTiRr53t

Полный конфиг апача: pastebin.com/uSmpP684


Файлы считываются примерно так:

$file_loc = 'pathtofile/file.dat';<br/>
$lines = file($file_loc);<br/>
<br/>
foreach ($lines as $line_num =&gt; $line)<br/>
 {<br/>
 echo $line;<br/>
 }<br/>

После очередного момента строка обрывается. Гугл отсылает к memory_limit и загрузке по частям с помощью разных ухищрений, но раньше-то работала и загрузка за один раз, благо файлы не огромные. Откат к предыдущей версии пхп не помог.


Что я упускаю?

Comments

[lanabel]

Спасибо всем за помощь. Сегодня при тестировании предложенных вариантов оказалось, что путь к файлам в конфиге прописан как «localhost/data/», при замене на «data/» всё заработало. Навело же на эту мысль то, что в написанном «с нуля» скрипте всё шло как по маслу.
Теперь вопрос — что за чудеса и почему раньше работало с обоими видами путей?

[lanabel]

Парсер такой парсер…
Было

http://localhost/data/

Answer 1

[webscout]

Проблема, мне кажется, не в конфигурации.

Посмотрите, правильный ли размер filesize($file_loc).

Если да, может попробовать постаринке?
$fh = fopen($file_loc, «rb»);
$data = fread($fh, filesize($file_loc));
fclose($fh);

Или вообще читать по частям?
while (!feof($fh))
$mytext = fgets($fh, 1024);

Comments

[webscout]

Кстати, сами файлы точно не битые?
Блокнотом открываются?

[lanabel]

Файлы 100% не битые, спокойно читаются, проблема как с текстовыми, так и с бинарными файлами. Вариант с filesize тоже пробовался, размер файла правильный показывает, а читает только начало :(

[lanabel]

сейчас уже не успею попробовать ваш вариант по частям, утром попробую, но загвоздка в том, что всё работалои целиком. Конечно, если не разберусь — придется перейти на такой вариант.

Answer 2

[eternals]

1. Функции конвертации кодировки используются? (Впрямую или косвенно).
2. Какая версия PHP до этого была?

Крайне желательно сам код получить или его фрагмент.

Comments

[lanabel]

Конвертации нет, не работает даже тот простейший код, который в вопросе. Если имеет значение — файлы читались бинарные и текст в utf-8, без разницы — всё равно не целиком.

Версия php была 5.3.3, потом откатилась на 5.3.2, который до переустановки работал как часы, результат всё равно плачевный.

Код есть в вопросе. Или вы фрагмент файла хотели?

[eternals]

Мы гаданием сейчас занимаемся.
Опубликуйте, пожалуйста, phpinfo()

Answer 3

[Naps]

А попробуйте вместо file использовать file_get_contents

Answer 4

[Dimonich]

А вы тот php.ini правите? У пхп их несколько для разных вариантов запуска (apache, cli, FastCGI).

Comments

[lanabel]

Судя по тому, что phpinfo() принимает мои правки — тот.

Answer 5

[Sannis]

Вы с помощью «построчного» file() читали бинарные файлы? Очень интересно. И вправду, попробуйте file_get_contents().

Comments

[lanabel]

Бинарные как раз им и читаю, код в топике — для текстовых, проблема и с тем и с другим.

Answer 6

[merlin-vrn]

Однажды долго бился над проблемой (всё правильно и ничего не работает), а потом проблема оказалась в suhosin patch.

Не может ли быть в этом дело?

Answer 7

[hayk]

А попробуйте сравнить рузультаты filesize($file_loc) и strlen(file_get_contents($file_loc)).
Размер прочитанных данных всегда один и тот же?
Может дело в самих данных?

Answer 8

[eternals]

> Теперь вопрос — что за чудеса и почему раньше работало с обоими видами путей?
Опять гадаем. Но почти наверняка дело в протоколе доступа к файлу. А как следствие — перекодировка. У PHP есть проблема с перекодировкой, особенно под windows. Ограничение в 64К результата перекодировки — это нормальная такая ситуация для PHP. Если копать глубже, то есть настройки перекодирования и выбор библиотеки перекодирования.

Answer 9

[SwampRunner]

set_time_limit(0);?

Comments

[lanabel]

Ошибки превышения time limit не возникает, скрипт работает меньше минуты (а выделено ему 1800 секунд) и заканчивается, т.к. якобы дочитал файл, а на самом деле прочитал только самое начало.

Answer 10

[resurection]

Может это не то, но хоть идею подкину.

Было у меня что-то похожее при скачивании видео флешем. У меня тоже плесало вокруг 40кб. Выяснил, что если файл короче, то сервер посылает HTTP-заговловок Content-Length. А если длинее, то заголовка нет. Виновником был mod_deflate который жал отдаваемые файлы на лету. Если файл был меньше чем, кеш, то сервер сперва сжимал и мог показать правильный размер.
Попробуйте откатить Apache. Если поможет, то фаербагом досканально сравнивайте ответ.