Какие библиотеки или приемы можно использовать для выгрузки из csv файла больше 150000 товаров в ИМ на Bitrix чтобы не лег сайт за это время?

Question

[Кристина]

Имеется файл с >150000 строк, это товары. Их необходимо выгрузить на сайт под управлением Bitrix через api. Как выгружать ясно, но такой файл не один сайт не тянет.
Какие есть приемы или библиотеки, и как можно оптимизировать код чтобы загрузить все.

Answer 1

[Алексей Емельянов]

Как выгружать ясно, но такой файл не один сайт не тянет.

Если как выгружать ясно, то в чём проблема то?

Answer 2

[Monitorkin]

сильно увеличить время работы скриптов в php max_execution_time и максимальный размер файла
max_upload_file

Answer 3

[Андрей Николаев]

Вы в любом случае положите сайт, вопрос только на какое время.
Можно положить его условно на 2 часа и загрузить все товары сразу, а можно положить его на 1-2 секунды каждые 5 минут, но тогда импорт будет пару дней.

Answer 4

[Сергей]

Выгружать через командную строку (cli), это намного быстрее чем через apache, nginx.
150к товаров ну это от силы 20 минут на плохом хостинге. Можно ночью выгружать