Как построчно считать файл?

Question

[Артем]

Вопрос явно идиотский, но я уже на краю.
Ситуация - есть csv файл весьма большого размера, в кодировке UTF-16LE.
Он располагается по url $link.
Мне нужно считать файл полностью и сохранить его в кодировке UTF-8. Проблема в том, что периодически, при перекодировании вылетает исключение:
Code: 8
Message: iconv(): Detected an incomplete multibyte character in input string

Такого нет только при использовании file_get_contents, но я не могу его использовать, т.к. файл в выделенный лимит оперативки явно не поместится.

BOM маркер я удалять пробовал, результата нет.

$source = fopen($link, 'r');
                        $target = fopen($dir . $pool->from, 'w');
                        while(!feof($source)){
                            $string = fgets($source);
                            $string = iconv('UTF-16LE', 'UTF-8', $string);
                            if(fwrite($target, $string) == false) {
                                $save = false;
                            }
                        }
                        fclose($source);
                        fclose($target);

Я почти в отчаянии, ткните носом в ошибку, пожалуйста, что только не перепробовал.

UPD. Файл не локальный.

Answer 1

[Антон Антон]

$in = fopen("a.txt", "r");
$out = fopen("p.txt", "w+");

$start = microtime(true);

while(($line = fgets($in)) !== false) {
    $converted = iconv('UTF-16LE', 'UTF-8', $line);
    fwrite($out, $converted);
}

$elapsed = microtime(true) - $start;
echo "<br>Iconv took $elapsed seconds\r\n";

Comments

[Артем]

будете смеяться, но результат не изменился...

[Антон Антон]

Артем: а может просто файл битый? в консоли iconv его нормально переваривает?

[Артем]

Антон Антон: я этот файл беру по апи, и прикол в том, что это исключение может пропасть после 3-4 попыток без всяких действий с моей стороны.

[Антон Антон]

Артем: из api можно его забрать с помощью curl и дальше по пайпу отправить в iconv

[Антон Антон]

тем более, что ошибка "спорадическая" - то она может быть и на той стороне. Код перекодирования - рабочий.

[Артем]

Антон Антон: а curl файл в оперативную память загрузит? Я, честно говоря, почти не работал с этим инструментом.

[Антон Антон]

Артем: нет. и подчеркиваю - я тут говорю про командную строку linux. Прошу в ней проверить.

[Артем]

Антон Антон: скормил в консоли строку - заголовок с латиницей. Показал правильно отображенные китайские иероглифы

[Антон Антон]

Артем: я про команду
curl toster.ru | iconv -f UTF-16LE