Как разбить большой csv файл при помощи PHP?

Question

[yesworld]

Всем привет.

В общем есть огромный файл CSV размером 1,5Гб.
Который мне нужно распарьсить и написать для нее миграцию.
Я как обычно написал простой скрипт по обработке файла, но к сожаления шелл все время вешается.. = (

Суть вопроса, можно ли файл, как нибудь разбить, на отдельные CSV файлы? Примерно по 100МБ?
При этом нужно учитывать конец строки CSV?

Answer 1

[egor_nullptr]

split -C 100M file.csv

Comments

[Леонид Сысолетин]

Иии мы бъём строку данных пополам, поздравляю.

[egor_nullptr]

-C, --line-bytes=SIZE
        put at most SIZE bytes of lines per output file

мануалы внимательней читайте

[Fortop]

egor_nullptr: в принципе это и вас касается
More sophisticated CSV implementations permit them, often by requiring " (double quote) characters around values that contain reserved characters (such as commas, double quotes, or less commonly, newlines). Embedded double quote characters may then be represented by a pair of consecutive double quotes,[9] or by prefixing an escape character such as a backslash (for example in Sybase Central).

[yesworld]

То что нужно! Отлично!

[Fortop]

yesworld: Перечитайте цитату из описания формата. В случае наличия символов переноса строки внутри полей вы получите битые данные

[yesworld]

Я разбил и проверил. Разбился файл с учетом конца строки.

[Fortop]

yesworld: главное чтобы их не было внутри полей. Если в вашем случае это работает, то замечательно.
Но в общем случае , лучше проверять, чтобы потом не было мучительно больно.

[FanatPHP]

Как всегда, самый дебильный ответ помечег как решение

[egor_nullptr]

FanatPHP не завидуй

[keslo]

Как использовать ваш код? Это в командной строке? Сори. В php новичек.

[yesworld]

FanatPHP, Он отмечен как решением, так как он идеально подходит под мою одноразовую задачу и потому что мне удобней проводит эксперименты над маленькими файлами, чем над огромными.
В теории подошел бы и fgetcsv, но вся проблема для меня была в том, что где-то в этом ОГРОМНОМ файле, есть вот такая фигня: ,[����`�0 . И как только функция доходила до нее, я не мог отследить где он запарывается. (Может в силу того, что я новичок. )
Следовательно, разбить на мелкие файлы и найти в редакторе этот кусок, чтобы заменить фигню под общую структуру на много проще.

Answer 2

[Fortop]

В чем суть проблемы?

Читаем
php.net/manual/en/function.fgetcsv.php

Пишем
php.net/manual/en/function.fputcsv.php

Comments

[yesworld]

В том, что когда РНР грузит огромный файл, он съедает все мои 12 Гигов ОП. А потом в терминале надпись, УБИТО.

[Fortop]

Функции выше работают через буфер. То есть для чтения и записи достаточно чтобы самая длинная ваша строка в файле помещалась в ваши 12 Гб.

Посмотрите пример работы функций в цикле.

За 1.5 Гб не поручусь, но 18 Гб я таким образом обрабатывал :)

[yesworld]

Да, я видимо дал где то промашку.. Спасибо, Fortop

[FanatPHP]

Не РНР, на минуточку, а чей-то говнокод. РНР не нужнл памятм больше, чем занимает одна строка

Answer 3

[Леонид Сысолетин]

Учитывая, что csv - это чистые данные, по одной строке данных на строку, то решение -
split -l

Comments

[Fortop]

Это не всегда так. В ряде случаев могут быть переносы строки в полях.

[Леонид Сысолетин]

Fortop: Тогда правильный сплиттер будет ненамного меньше импортера. =(

[Fortop]

Леонид Сысолетин: все уже давно украдено до нас... Есть готовые функции в большинстве языков

Answer 4

[65536]

вот могу дать напидореную функцию для чтения таблиц сохраненных в тхт с табами в экселе в винде

public function get_rows($file_path, $start = 0, $length = 0)
{
    $handle = fopen($file_path, 'r');

    $rows = array();
    $i = 0;

    while ( !feof($handle) )
    {
        $row = fgets($handle);

        if ( $i >= $start && $i < $start + $length )
        {
            $row = trim($row);

            if ( strlen($row) )
            {
                $cells = explode("\t", iconv('windows-1251', 'utf-8', $row));

                foreach ( $cells as $n => $cell )
                    if ( substr($cell, 0, 1) == '"' && substr($cell, -1) == '"' )
                        $cells[$n] = str_replace('""', '"', substr($cell, 1, strlen($cell) - 2));

                $rows[] = $cells;
            }
        }

        $i++;
    }

    fclose($handle);

    return $rows;
}

нужно организовать очередь и читать кусками такого размера чтобы их обработка влезала в память

Comments

[FanatPHP]

Вот такого типа говнокод и вешает чуваку систему

[65536]

FanatPHP: эмм, объясни

[FanatPHP]

Почитай кшо клмментарии. Ты, собирая данные в масчив, и отжираешь пвмять. То есть создаешь проблему, а не решаешь ее

[65536]

FanatPHP: ии? в итоге вы предложили чуваку порубить файл на куски, а потом эти куски импортировать. мой говнокод делает то же самое без разрубания файла. файл целиком в память не грузится, он его просто открывает и читает эн строк начиная с такой то и складывает в массив (который ты там уже импортируешь куда то). из места вызова этим можно управлять программно. хоть по одной строке читать. я вообще так и сделал что этот кусок кода достает по одной строке. вызывающий скрипт считает сколько уже ушло времени и памяти, когда упирается в заданные значения, останавливается и записывает $start для следующей итерации. которая запускается путем запуска нового процесса. и в зависимости от содержания каждая итерация может обработать произвольное число строк, мало ли что там при импорте происходит. может 10, а может 150. просто порубить файл на одинаковые куски это не так надежно. приходится выбирать самый минимальный размер чтобы точно влезло