Импорт большого yml в mysql?

Question

[Сергей]

Подскажите в каком направлении искать. Мне необходимо импортировать товары из yml, около 500000 офферов в базу данных mysql. Как мне сделать это в php в фоновом режиме с низким приоритетом? Есть ли подобные инструменты? Пока только приходит на ум по крону роз в минуту записывать по 20-30 товаров, плюс нужно какие то флажки чтобы знать где остановился. В общем мне кажется есть более правильное и эффективное решение.

Comments

[Akina]

Я бы скормил его MySQL прям как есть. А там разобрал его на части и разложил по таблицам. Сложность процедуры зависит от структуры файла, но в любом случае сомневаюсь, что будут проблемы.

Answer 1

[rPman]

как импортируешь то? ты в свой скрипт не можешь вставить sleep между запросами?

львиную долю нагрузки базе данных на запись создают:
1. поддержка транзакций
2. перестройка индексов
3. средства защиты данных от сбоев
каждая запись на диск, которая по мнению базы данных должна быть произведена с гарантией, т.е. снабжается вызовом flush, но база данных не всегда знает когда это стоит делать а когда нет, частично это разруливается длинными транзакциями, вставляя между коммитами 100500 запросов на вставку

Так вот по каждому пункту можно временно изменить логику и настройки работы базы данных.
1. отключить транзакционные механизмы, перейдя от innodb к myisam, это может дать чуть ли не двухкратный прирост, но потребует в приложении как то игнорировать отсутствие поддержки транзакций, что не всегда просто сделать
2. отключить индексы, буквально, оставить только PK и то только там где это имеет необходимость только для импорта, после окончании импорта данных, индексы нужно будет вернуть. Однократное создание индексов на порядок если не два быстрее чем обновление индексов по каждой записи в базу.
3. отключить поддержку flush в операционной системе, буквально например опция монтирования ext4 data=writeback, база данных не будет ждать когда данные реально будут записаны на диск (есть еще опция O_DSYNC у mysql innodb, совет вообще полистать как тюнить дисковый io) но осторожно, если в это время произойдет краш сервера, данные будут испорчены, причем скорее всего безнадежно. В догонку, можно перенести журнал ext4 на другое более быстрое устройство или лучше совсем его отключить, так как при записи данные пишутся сначала в него потом на диск, на время импорта это лишние операции
И в догонку, если размер базы данных к примеру считанные сотня гигабайт, то можно временно арендовать в облаке машину с большим объемом RAM, залить базу в tmpfs и на максимально быстрой скорости импортировать данные, потом готовую базу залить обратно.

т.е. данные действия позволят, остановив работу (без этого никак) провести импорт максимально быстро и восстановить работу, пол миллиона записей это мизерный объем и если что то тормозит то исключительно из-за плохой архитектуры или реализации

Comments

[Сергей]

Ничего останавливать нельзя. Нужно раз в сутки опрашивать обновленный yml с товарами и вносить изменения в бд.

[rPman]

Сергей, у тебя раз в сутки 500 миллионов товаров обновляются?
однозначно проблема в архитектуре

как минимум нужно принять решение о том, какие товары не нужно обновлять а если там обновление техническое, переделать поля в вычисляемые в момент запроса

[Сергей]

500 тысяч