Добрый день.
Столкнулся с необходимостью на php обработать csv файлы таким образом: существует порядка 1000 файлов csv которые имеют каждый более 10000 строк, нужно удалить дублирующие записи из каждого файла оставив, только в одном файле такую запись. Как это сделать более эффективно, может есть уже стороннее решение?
Можно воспользоваться любой нормальной СУБД: сначала импортировать туда все строки (разбить на столбцы), отфильтровать, а затем снова записать в csv файлы.
