Как оптимизировать парсинг больших csv файлов?

Question

[Максим Медведев]

Есть csv файл объемом 300мб. В нем 200 000 строк вида:

текст текст; "текст в двойных кавычках; текст в двойных кавычках; текст в двойных кавычках"; текст; текст
текст текст; "текст в двойных кавычках; текст в двойных кавычках; текст в двойных кавычках"; текст; текст; текст;  текст
текст текст; текст; текст;  "текст в двойных кавычках;текст в двойных кавычках; текст в двойных кавычках"; текст; текст

Разделитель ; , но так как внутри ячеек так же встречается ; приходится делать замену с помощью регулярки, решение нашел здесь: 373729

Далее, для обработки файла использую следующий код:

$handle = fopen($file_save . $name_csv, "r");
			$data_import = array();
			if(empty($handle) === false) {
			    while(($data = fgetcsv($handle, 0, ";")) !== FALSE) {
					array_push($data_import, $data);
			    }
			    fclose($handle);
			}

проблема в том, что скрипт забирает себе 1гб оперативы. Вопрос, может я упускаю какой то более правильный способ парсинга csv файла такого объема? Регулярка и сам парсинг разнесены отдельно и количество потребляемой памяти на разбор файла указан без работы по замене разделителя.

Answer 1

[Макс]

учитывая, что потом Вы это запихиваете в БД - пихайте сразу в БД и дальше делайте логику на SQL. будет на порядки быстрее и в разы менее прожорливо до памяти

Comments

[Максим Медведев]

ну, вместо гига с лишним, сейчас до 80 мб получается. количество запросов к бд конечно будет большим, но пока другого варианта не вижу. выгружать весь список из 200 000 записей и по ним сравнивать при парсинге csv файла - снова возврат к 500+ занятой памяти. или я снова не вижу очевидного решения задачи?

[Макс]

Максим Медведев: не понял замечания. сделайте LOAD DATA INFILE во временную таблицу, далее делайте с ней все, что хотите. Ваши несчастные 200К строк залетят в БД за секунды

Answer 2

[Дмитрий Евграфович]

Почитайте про генераторы Для чего нужны Генераторы (yield) в php? (ссылку привел для примера, просто первая попалась и там как раз тоже человек показал обработку csv)

Comments

[Максим Медведев]

спасибо за ссылку, вариант похож на приведенный выше, но тоже достоин внимания.