Запись в бд — почему падает скорость операций?

Question

[LobsterJoe]

Ситуация следующая - у меня excel файл на 600к строк, парсится PHP-скриптом (symfony console command).
Использую Doctrine, пишу в базу батчами по 200.
Окружение - aws eb, mysql SSD.
В качестве первичного ключа используется UUID.

Наблюдаю постепенное снижение скорости операций (за первый час - экспортировано 24к, за второй - уже 19к и т.д.).

Куда копать?

Answer 1

[Stalker_RED]

Предлагаю прекратить мучать всякие ORM, сохранить эксельку в csv и использовать LOAD DATA INFILE

LOAD DATA INFILE 'data.txt' INTO TABLE db2.my_table;

Comments

[LobsterJoe]

Переписал с использованием SQL Query Builder. Результат не такой удручающий, во всяком случае, пока.
К утру будет виднее =) Так же было бы интересно узнать, есть ли смысл добавить индекс на UUID (который primary key)?

[Stalker_RED]

LobsterJoe, к утру?
load data infile загрузил бы 600к строк за минуту, или быстрее.

И MyISAM и InnoDB автоматически индексируют поле, которое primary key.

Если пред заливкой большого объема данных дропнуть все индексы, то заливка идет сильно быстрее.
После заливки создать заново.

Конечно, это допустимо только в том случае, если во время заливки выборка по этой таблице не производится :)

[LobsterJoe]

Ну, мой скрипт загрузил лишь 80к за ночь =)
Воспользовался вашим решением:

[2019-03-31 13:54:04] 592797 rows affected in 35 s 992 ms

Это был бесценный опыт =)