Как обработать большие csv файлы на php?

Question

[marenco_victor]

Добрый день.
Столкнулся с необходимостью на php обработать csv файлы таким образом: существует порядка 1000 файлов csv которые имеют каждый более 10000 строк, нужно удалить дублирующие записи из каждого файла оставив, только в одном файле такую запись. Как это сделать более эффективно, может есть уже стороннее решение?

Answer 1

[Сергей Семенко]

Можно воспользоваться любой нормальной СУБД: сначала импортировать туда все строки (разбить на столбцы), отфильтровать, а затем снова записать в csv файлы.

Comments

[marenco_victor]

Гениально!