Андрей Николаев

Если уж совсем по сути, то вы задали несколько вопросов:

1) Как прочитать ответ из вайбера
2) Как понять к какой сделке относится этот ответ (если он относится к сделке)
3) Как изменить стадию сделки

Отвечая на ваш вопрос "Как изменить стадию сделки", вы можете воспользоваться rest-методом crm.deal.update (для облака) или CCrmDeal::update (см аналогично для лида https://dev.1c-bitrix.ru/api_help/crm/example.php)

Давайте разберем чуть подробнее ваш фрагмент кода и представим гипотетическую ситуацию: у вас на сайте создана 1 отгрузка, а после обмена из вашей системы прилетает 2 новые отгрузки, вместо 1 существовавшей.

Начнем с того что в:

// создаём отгрузки
$shipmentCollection = $orderBx->getShipmentCollection();

Вы получаете коллекцию отгрузок. Коллекция отгрузок представляет из себя набор, состоящий из системной отгрузки + созданных системой или пользователем.
При обработке существующего заказа с одной отгрузкой вам вернется коллекция (объект) с содержимым в 2 отгрузки: системная + ваша.

Далее, вы производите итерацию по пришедшим отгрузкам

foreach (importJson['Shipments'] as $importOrderShipment)

Т.е. получается вам пришло 2 отгрузки и соответственно вы 2 раза зайдете в ваш цикл.

Фрагмент:
$shipment = $shipmentCollection->createItem();
Создаст еще одну отгрузку. Иными словами после выполнения фрагмента в коллекции отгрузок у вас будет уже 4 отгрузки: системная, исходная (которая была на сайте), а так же две новых отгрузки, которые вы создали при итерировании по импортируемым отгрузкам.

В данном случае у вас есть несколько вариантов развития событий:
1) Вы можете очищать коллекцию отгрузок и создавать новые. Событий на изменение заказа у вас будет большое количество, но тем не менее это даст вам больше прозрачности в вашем процессе (не говоря уже о простоте реализации).

2) Добавить маркер и по нему обновлять существующие отгрузки - менять стоимость тип и т.п.
Это будет сложнее, но при этом чище с точки зрения событий в системе.

P.S. И насколько я помню, цена доставки PRICE_DELIVERY из order это вроде как сумма PRICE_DELIVERY (?CUSTOM_PRICE_DELIVERY) из всех не системных отгрузок, так что задавать его бесполезно.

Как-то можно используя возможности D7 извлечь допданные сразу, в том же запросе, где извлекаются данные по локациям?

Используя runtime-секцию, ты можешь обьявить вычисляемое поле типа reference и вытаскивать данные, но неизвестно как себя поведет при этом запрос (могут появиться дубли).

Будет нечто выглядящее так:

$res = \Bitrix\Sale\Location\LocationTable::getList([
	'filter' => [
		'=ID' => intval($id),
		'=CHILDREN.NAME.LANGUAGE_ID' => 'ru',
	],
	'select' => [
		'_ID' => 'CHILDREN.ID',
		'CODE' => 'CHILDREN.CODE',
		'DEPTH_LEVEL' => 'CHILDREN.DEPTH_LEVEL',
		'LATITUDE' => 'CHILDREN.LATITUDE',
		'LONGITUDE' => 'CHILDREN.LONGITUDE',
		'NAME_RU' => 'CHILDREN.NAME.NAME',
		'TYPE_CODE' => 'CHILDREN.TYPE.CODE',

		'UF_XML_ID' => 'LOCODES.UF_XML_ID',
		'UF_LOCATION_ID' => 'LOCODES.UF_LOCATION_ID',
	],
	'runtime' => [
		new \Bitrix\Main\Entity\ReferenceField(
			'LOCODES',
			$this->locodes_data_class,
			['=this.ID' => 'ref.UF_LOCATION_ID'],
			['join_type' => 'LEFT']
		)
	],
	'order' => [
		'CHILDREN.NAME.NAME' => 'ASC'
	]
]);

Но ведь почему-то разработчики Битрикса решили от него отказаться?

Они не "решили отказаться", они его архитектурно еще не сделали. Элементы инфоблоков это не только запись в таблице это еще и свойства, которые могут хранится в двух вариантах, так что это вовсе не так просто.

Выходит нужно использовать старый CIBlockElement::Add() без вариантов?

Если хотите атомарно и без нарушений логики - да.
По факту, если у вас простая запись, т.е. без свойств, то можно подглядеть что он делает и выполнить по аналогии. Будет в целом почти равнозначно для импорта.

Есть какой-то аналог Batch Processing от Doctrine?

Аналогов нет, но и операция не такая уж частая. Есть потребность в таких объемах - обычно либо это сторонние каталоги (цены, наличие, свойства и т.п.) и тут без CIblockElement::add не обойтись, либо своя таблица (а там уже что хочешь, хоть sql)

При завершении активности в Битриксе (карточка Сделки или Лида, не суть) - нужно автоматом изменить статус данной Сделки.

Вы можете сделать следующее: создать Бизнес-процесс, который будет создавать задачу и после завершения в самом бизнес-процессе проверять - если она завершена менять статус сделки.

Единственное - задачи придется ставить из бизнес-процесса, но с другой стороны это даст вам стандартизированные процессы.

Есть ли возможность выгрузить массив этих данных, сохраняя связи, используя методы АПИ Битрикс?

Есть ли API для получения списка лидов, сделок и т.п.? Да, есть
Есть ли выгружающее API? Нет.

Либо проще сразу писать sql запрос, получать массив и уже работать с ним ?

Длинный получиться запрос, ведь только чтобы выгрузить задачу без комментариев, но в треками времени, историей, пользователями потребуется минимум 5 таблиц использовать, а в CRM это еще больше.