Как массово обновлять справочники?

Question

[tgarl]

Есть HL-block справочник, в который нужно заливать более 200К записей проверяя наличие их уже или их отсуствие.
Как можно решить такую проблему?

последовательное использование $entity_data_class::getList, затем add поштучно - это очень плохой подход((
Если напрямую sql использовать то INSERT INTO позволяет сразу по несколько записей добавлять. Есть ли возможность у api такая? или если я буду обновлять не через api, а через sql какие могут быть проблемы?

Answer 1

[Эдуард]

Одним запросом ищем дубли, фильтруем исходный массив на основании полученных дублей, делаем add

Comments

[tgarl]

Просто, со вкусом и не о чем.
Можно немного более развернутый ответ?

вот есть у меня массив с уникальными ключами $itogo_0['UF_KEY'] которые нужно проверить, их пусть будет 200 000
вот используем мы api
$entity_data_class::getList c фильтром по ключам, чтобы их исключить мне нужно сделать выборку fetch
удалить из $itogo_0['UF_KEY'] существующие и в цикле по оставшимся сделать $entity_data_class::add

но выполняется такой код ~15-20 минут - это очень долго

вот я и спрашиваю про варианты. Если я неверно подошел к решению распишите немного побольше