Сталкивались с долгой выгрузкой из 1С в 1С-Битрикс?

Question

[tuxx]

Кто-нибудь сталкивался с долгим обменом 1С и Битрикс? Есть каталог на 7к+ наименований. Часть из них с изображениями. Полная выгрузка всего каталога проходит более суток в пакетах по 100 товаров. Те кто сталкивались с подобным как решали? Может и мне поможет?
При обмене создается довольно приличная нагрузка на сервер с 1С. Точных характеристик сервера не знаю, но по некоторым данным 2 проца по 8 ядер и 32 Гб оперативки.

Answer 1

[Александр Маджугин]

Не совсем понял на какой стороне тормоза. Если на стороне битрикс:
и у тебя сайт в UTF, проверь значения mbstring.overload в настройках PHP. Должно быть 2. Вобщем проверь что у тебя все отлично и правильно с кодировкой. Я один раз тоже больше суток втыкал в чем может быть причина таких лютых тормозов;

если на стороне 1С:
пусть этим занимается конфигуратор 1С ибо не понятно что они там накофигурили в начале.

если при передаче не сервер:
скорее всего надо пихать хостера и/или провадера на предмет низкой скорости аплойда

Comments

[tuxx]

На данный момент существенно удалось ускорить выгрузку отключивы выставление вотермарка на изображения в битриксе. Они выставлялись очень медленно. Обработка пакета из 100 элементов с 20-30 изображениями длилась более 10 минут.
К скорости передачи претензии есть, но он относятся к ооооочень медленной закачке бекапов в облако битрикса. Ни хостер, ни битрикс не признают вины со своей стороны.

С mbstring проблем не было: overload = 2, internal_encoding=utf-8. На стороне 1С сложно сейчас что-то сказать, т.к. ответственный за это человек сейчас реализует одну специфичную и крупную задачу.

[Александр Маджугин]

tuxx: лучше вообще убрать проставление ватермарка при загрузке. Даже уменьшение детальный изображений лучше не использовать. Но это не связано с выгрузкой. Все эти вещи лучше делать в шаблонах. В result_modifier в смысле. Тогда вы легко сможете менять ватермарки и размеры деталек не перезаливая каждый раз каталог.

Если проблема mbstring - там сразу радикально возрастает скорость импорта. В 1500-2000 раз.
Еще - если картинке не часть меняются у товаров или меняются но с ними так же меняются и сами товары - какая-нибудь подпись, свойство и ТП, то есть радикальное средство - Использовать контрольные суммы элементов для оптимизации обновления каталога. Это настройка в Магазин > Настройки > Интеграция с 1С. Товары не будут апдейтится если в них ничего не изменилось.

[tuxx]

Александр Маджугин: к сожалению mbstring в порядке и контрольные суммы включены. при выгрузке ставились только ветермарки. размер изображения не изменялся. более того я требовал чтобы все изображения прогонялись через оптимизаторы типа tinypng чтобы уменьшить их размер

[Александр Маджугин]

Если вы ставите ватермарк, считайте что это тоже изменение размера. Если отключили сейчас ватермарк и изменение отдельно не включено - отлично.
Попробуйте все же включить использование контрольных сумм, если выключено. Это не решит проблему, но поможет ее обойти.

[tuxx]

Александр Маджугин: изображения сейчас тупо принимаются и кладутся в нужную папку без какой-либо обработки. контрольные суммы включены изначально

[Александр Маджугин]

Отлично. Значит скорее всего дело или в 1С или в долгом аплойде. Для того что бы проверить - запусти импорт вручную и посмотри сколько он будет длится.
/bitrix/admin/1c_exchange.php?type=catalog&mode=import&filename=import.xml
и жми F5 до появления success.

Answer 2

[Дмитрий Новиков]

7к товаров выгружаются в общем случае максимум полчаса.
не могу подсказать по 1С, а по битриксу - проверьте систему встроенными средствами, в т.ч. БД, сделайте замер производительности - думаю, там будет за что зацепиться. На время выгрузки возможно стоит понижать уровень безопасности.

Comments

[tuxx]

проверки средствами битрикса проблем не находят. самые тяжелые запросы к БД выполняются менее секунды. все страницы сайта грузятся быстро. думаю придется обратится к профайлерам

Answer 3

[Олег Максименко]

Если в настройках sitemap.xml нужного инфоблока товаров стоит галочка «Автогенерация», то импорт может изрядно затянуться.

Comments

[tuxx]

к сожалению автогенерация выключена