Bitrix ORM: Как реализовать импорт в инфоблок нескольких тысяч элементов?

Question

[ragnar_ok]

Реализую импорт в инфоблок нескольких тысяч элементов.

Пытаюсь использовать Bitrix ORM - ElementTable::add(); выводит: Для добавления элементов инфоблоков используйте вызов CIBlockElement::Add().

Понимаю, что можно избавиться от метода add(), который переопредляется в ElementTable (выводит ошибку) и работать средствами D7 с таблицами инфоблока bitrix/modules/iblock/lib/element.php. Но ведь почему-то разработчики Битрикса решили от него отказаться? Выходит нужно использовать старый CIBlockElement::Add() без вариантов?

Как реализовать импорт по шагам? Есть какой-то аналог Batch Processing от Doctrine?

Короче говоря, как оптимизировать это:

foreach ($itemArray as $item) {
  CIBlockElement::Add($item, false, false, false);
}

Answer 1

[Андрей Николаев]

Но ведь почему-то разработчики Битрикса решили от него отказаться?

Они не "решили отказаться", они его архитектурно еще не сделали. Элементы инфоблоков это не только запись в таблице это еще и свойства, которые могут хранится в двух вариантах, так что это вовсе не так просто.

Выходит нужно использовать старый CIBlockElement::Add() без вариантов?

Если хотите атомарно и без нарушений логики - да.
По факту, если у вас простая запись, т.е. без свойств, то можно подглядеть что он делает и выполнить по аналогии. Будет в целом почти равнозначно для импорта.

Есть какой-то аналог Batch Processing от Doctrine?

Аналогов нет, но и операция не такая уж частая. Есть потребность в таких объемах - обычно либо это сторонние каталоги (цены, наличие, свойства и т.п.) и тут без CIblockElement::add не обойтись, либо своя таблица (а там уже что хочешь, хоть sql)

Comments

[ragnar_ok]

Спасибо! Очень исчерпывающий ответ. Одно уточнение. Вы предлагаете использовать такой подход для тысячи элементов? Это приемлемо? Предложите что-нибудь?

foreach ($itemArray as $item) {
  CIBlockElement::Add($item, false, false, false);
}

[Александр Маджугин]

ragnar_ok, для тысячи? Вы шутите? Ладно если бы там хотя бы 100'000 было, можно бы было задуматься об оптимизации какой-то.
Просто проверить было бы в 10 раз быстрее чем спрашивать, честно слово.

[ragnar_ok]

Александр Маджугин, проверить одно, а как это себя поведет на разных машинах - другое. Я понимаю, что теоретически - это нормально. Но хотелось бы услышать best practices по этому поводу. Я же не писал, что столкнулся с проблемой импорта. Проблемы нет - хотелось бы улучшить то, что есть.
Например, в доках той же Доктрины указано: The following code shows an example for inserting 10000 objects with a batch size of 20.

[Александр Маджугин]

ragnar_ok, ну смотрите, на каком-то масштабе вы все равно столкнетесь с проблемой, какой бы подход не использовали, поэтому улучшить ради улучшения, чтобы было решить проблему на любых машстабах не выйдет.
Следовательно решать ее надо на наиболее вероятном масштабе. Простое добавление 1000 элементов - не проблема.

Возможно в каких-то условиях проблемой может стать добавление предположим 10'000 элементов и пусть есть оптимизация позволяющая ускорить код в 2 раза (хотя вряд ли для данного случая), тогда применив эту оптимизацию вы сможете сдвинуть границу проблемы на 20'000.

Предположим масштабы с которыми будет работать ваше решение от 1000 до 100'000 элементов. Выходит проблему вам придется как-то обходить (например делать импорт пошаговым) и с оптимизацией и без нее, при этом ища способ оптимизации вы пытаетесь улучшить работы решение в очень узком диапазоне значений, по сути только в 10% случаев
Оно того стоит?

Это лирика была. На практике используйте CIBlockElement::Add и не парьтесь.

Answer 2

[Георгий Баручян]

Как обходной путь, Вы можете унаследоваться от ElementTable и переопределить в своем классе метод add, а там уже реализовать собственное добавление

Comments

[ragnar_ok]

Понимаю. Я же указал это в своем вопросе: Понимаю, что можно избавиться от метода add(), который переопредляется в ElementTable (выводит ошибку) и работать средствами D7 с таблицами инфоблока. Возможно я не верно выразился. Имел в виду именно то, что Вы предложили.
Интересовала причина по которой в bitrix/modules/iblock/lib/element.php была вставлена эта заглушка.

[Георгий Баручян]

ragnar_ok, Я думаю, что основная проблема таится в разработчиках битрикса, которые до сих пор не реализовали в d7 нормальную работу с свойствами. Поэтому и делают заглушку для метода add.