Как правильнее загрузить большое кол-во данных в БД в laravel?

Question

[daniel_wesson]

Добрый день, я создаю интернет-магазин на laravel, товары в который должны будут импортироваться из ВК через Market API. Администратор в панели управления нажимает кнопку "Import" и все товары с группы ВК должны записаться в БД. Данных очень много, поэтому, сервер за один присест не сможет "проглотить" всё. В конструкторе интернет-магазинов Shopify данные о товарах из файла импортируются в течение минут 15, то есть организована загрузка в фоне. Как такое можно реализовать на laravel? Читал в доках про очереди, но не совсем понял как правильно их использовать в данной задаче. Кто знает, помогите пожалуйста.

Comments

[Дмитрий Шицков]

Читал в доках про очереди, но не совсем понял как правильно их использовать в данной задаче.

Непонятно как вам помочь. Примеров как сделать фоновые задачи в Laravel через очереди довольно много в интернете, как на английском, так и на русском. Попробуйте хоть что-то сделать...

Answer 1

[Alex Wells]

Нажимаешь на импорт, отправляешь обычный хттп пост запрос (доки), в обработчике создаешь джобу и кидаешь в очередь (доки), в джобе пишешь логику импортирования (может хоть час, хоть два, хоть десять лет импортироватся - главное что бы сервак не падал, и не забудь написать имя очереди, отличное от default).

Собственно все. Дальше либо поднимаешь очереди супервизором (доки), либо прикручиваешь horizon (доки) и, есстественно, какой-то адекватный драйвер для этих очередей, как то rabbitmq или redis (и драйвер соответсвующий включаешь (доки)).

Answer 2

[Виталий Юшкевич]

Как работать с джобами, написали выше. Если есть желание оптимизировать саму вставку данных в бд, то можно в Джобе писать данные в файл, а затем загрузить в бд через load data infile. Будет существенно быстрее.