Как быстро обработать тяжёлый массив?

Question

[Thegaar]

Ребят такая проблема. Есть файл 50к+ записей (пользователи). Записи в формате json (Лежат в файле). Распаршиваю json, заливаю пользователей через апи движка. Функция апи вида user->add(user_info_array). То есть добавляется по 1 пользователю. Как мне быстро обработать данные и добавить всех пользователей? Одним циклом делал - положил базу.

Comments

[AlikDex]

1) используйте транзакции при вставке.
2) разбить на части, например 50 циклов по 1000 вставок. Вставлять 1 запросом сгенерировав его предварительно.

Answer 1

[Антон Шаманов]

Если процедура разовая, то проще провернуть это на локальной машине выкрутив настройки на максимум.

Comments

[Thegaar]

Антон Шаманов: Не проще. json структура выгружается из 1с. И каждому пользователю ставить локальный сервер - бред.

[Антон Шаманов]

Thegaar: во-первых, этих детали ты первоначально не указал, во-вторых, установка сервера для запуска php не требуется

Answer 2

[Stalker_RED]

Если данных ОЧЕНЬ много, то можно залить из файла: LOAD DATA INFILE. Или через mysqlimport.

50к - не так чтоб совсем много, можно действительно побить кусками по 1000 штук, например, как и советовал Сергей

Comments

[Thegaar]

Stalker_RED: Беру данные из файла а не из базы.

[Stalker_RED]

Thegaar: но загрузить хотите же в базу? Вот вам два способа для загрузки БОЛЬШИХ данных.

[Алексей Ярков]

Thegaar: Ну берите, какие проблемы? Вы же данные сначала json_decode(данные_из_файла)? Разбивайте массив на чанки и работайте с чанками в цикле

[Thegaar]

Алексей Ярков: На чанки не разбиваю. Мне показалось, что как-то медленнее скрипт начинает работать с ними

Answer 3

[asd111]

В цикле после user->add(user_info_array) попробуй поставить usleep(10000) - ждать 0.01 секунды