Как распараллелить парсинг и загрузку в БД на php?

Question

[seredaes]

Привет.
Есть пару файлов в CSV.
Размер файла около 2 гигабайт.

Залить нужно в БД (MySQL) где около 6 миллионов записей.

Я считываю значение, прогоняю по всей БД запись.
Если есть, обновляю на всякий случай данные, если нет - записываю в БД новую запись.

И вот этот процесс очень длителен.
Знаю, что php однопоточный. Но может будут идейки, как распараллелить.

Я вот думал, один скрипт считывает сколько строк в файле.
Делит на n-ое количество, например на 3.
Потом через exec запускаю php на выполнение,
считываю определенное количество строк, и работаю с ними.

В общем два медленных момента:
1. считывание файла, весь в ОЗУ не загнать
2. БД нужно не просто записать, а прогнать по всей БД, найти есть ли такая запись и после уже обовить или записать.

Comments

[АртемЪ]

А тут не поможет распараллеливание, только хуже сделаете. Диск больше дергать будете.
У вас судя по описанию медленно потому что вам нужно внести миллионы записей, и вы вносите каждую запись персонально - полный цикл операций по внесению, от чтения нужной записи из файла, до добавления в базу.
Делайте это пачкой - читайте сразу 100, 1000 записей и заносите их.

1. считывание файла, весь в ОЗУ не загнать

А зачем его туда загонять? Его читать просто пореже надо. Я так понимаю что на 6млн записей вы его читаете 6млн раз. Ну считайте сразу одну десятую, или одну сотую файла в память и все. В результате у вас будет 10-100чтений файла вместо шести миллионов, а это огромная экономия времени.

2. БД нужно не просто записать, а прогнать по всей БД, найти есть ли такая запись и после уже обовить или записать.

Индекс.

Answer 1

[Alex Wells]

updateOrInsert несовместим с "собирать в ОЗУ". Он тупо делает select а потом insert.

Хз сколько это 2гб в записях. Если до нескольких миллионов - то тупо делаете пачками по 3-5 тыс. select, потом insert недубликатов такими же пачками по 3-5кж

Если больше - делаете тоже самое, но разбиваете файл на несколько и раздаете задачи джобам.

Answer 2

[DevMan]

если это разовая (или не очень частая) задача вы больше времени потратите на распараллеливание, чем просто на импорт.

не нужно искать по всей базе, создайте уникальный индекс и воспользуйтесь odku или insert ignore (если уверены, что данные такие же).
да и csv - не единый набор данных, его спокойно можно читать построчно. набивать буфер и отправлять пачкой в бд.

в целом: если вам не нужно делать импорт каждые 5 минут, нет смысла ее параллелить.

Comments

[Артур]

Плюс к этому если отправлять запросы не каждый отдельно, а пачками, то думаю скорость увеличится в несколько раз

[seredaes]

Этот скрипт нужно запускать каждый день.
Данные добавляются в файл с нарастанием и БД тоже растет.
Боюсь, что за сутки не успевает все обрабатывать. Тем более файлов много.

использую Laravel updateOrInsert
Вот вычитал, что хорошо бы отключать кеширование

DB::connection()->disableQueryLog();

И хорошая идея, например данные не вставлять сразу, а собирать в ОЗУ, а потом массовой вставку делать, но хватит ли ОЗУ, или каждые 100-200 записей делать.

[seredaes]

Юзаю как уже писал updateOrInsert в Laravel или это не лучший вариант?

[DevMan]

seredaes, зачем вам для этого вообще laravel?
пишите напрямую в базу. 2 гига раз в день даже дохленький i3 расчуханит за час-другой.

[seredaes]

Проект на laravel, использую консольные команды типа PhP artisan update:lawsuits и запихиваю в крон

[batyrmastyr]

seredaes, а вам ранее импортированные данные сохранять надо? Если нет - проще использовать Load data и загружать во временную таблицу, потом переименовывать.

Answer 3

[xmoonlight]

Если делать в один поток:
(Сначала, работаем БЕЗ базы)
1. Берём CSV и расставляем (формируя два новых файла рядом!) через консольный скрипт/программу в нём ID-шники согласно "таблице-связке" (которая тоже в файле хранится, её изначально надо будет сделать однократно): [ID в CSV] -> [ID в нашей базе]. Это может быть как артикул, так и название (или любой другой уникальный параметр для одной уникальной записи, включая хэширование).
Получаем CSV2-update (связанные записи) и CSV2-new (записи, которых нет в нашей БД).

(сортировка - по желанию, но она не нужна)

(Начинаем работать с базой)
2. Обновляем сначала те, что есть: CSV2-update
3. Затем, добавляем в БД новые позиции: CSV2-new.

4. После добавления - обновляем файл "таблицы-связок".

Итог:
1. Мы все "тяжёлые" операции делаем ВНЕ базы.
2. Мы ничего не ищем по базе, а сразу берём нужную запись по ID ("ключу").

Захотите сделать сразу всё и мультипоточно на PHP: pthreads в помощь!

Answer 4

[Mouvdy]

Похожую задачу решил для себя иначе.

Поле в БД сделал уникальным по которому должна была идти проверка.

При импорте делаю только INSERT. В итоге данные или записываются или нет и можно распараллелить :)

1 млн записей на слабеньком сервере за +/- 1-3 минуты выполняется.

Answer 5

[Vitaly Karasik]

2. БД нужно не просто записать, а прогнать по всей БД, найти есть ли такая запись и после уже обовить или записать.

Только это может быть медленным, читать файл не проблема.
Насколько медленно работает вставка? - активизируйте slow query log и посмотрите. С использованием индекса эта операция должна быть быстрой. Если нет - надо оптимизировать.

Comments

[FanatPHP]

Открою маленький секрет: индекс не ускрояет вставку, а замедляет ;)

[Vitaly Karasik]

FanatPHP, для меня это не секрет.
Я имел в виду эту фразу "Я считываю значение, прогоняю по всей БД запись." - во многих случаях перед insert/update нужно найти нужные записи, и тут индексы и правильный запрос очень даже помогают.

[seredaes]

Индексы стотят. Но там около 7 полей и по всем нужно проверять изменение

[Vitaly Karasik]

seredaes, советую дополнить вопрос схемой таблицы и примером даты из CVS.
Но в целом, по-моему, быстрее ("дешевле" в смысле нагрузки базы) обновлять не проверяя все поля - https://www.techbeamers.com/mysql-upsert/