Выгрузка товаров в Битрикс, лучший вариант при больших объёмах?

Question

[abubekovdd]

Добрый день!
Какой лучший способ регулярной загрузки товаров в инфоблок 1С битрикс? Исходные данные:
1) CSV файлы, каждый день обновляются, имеют объём от 2 до 25 мб, количество 5-20шт. Внутри файлов по 20000-400000 позиций товаров. Каждый товар характеризутеся 7-10 свойствами(столбцами в csv).
2) Нужно каждый день загружать эти файлы в инфоблок 1С-Битрикс
3) Сервер выделенный

Вообще возможно это реализовать? Стандартная загрузка не сможет обработать такой объём данных за сутки.
Или есть что то другое для таких обменов? Требуется оперировать загруженными данными и показывать эти товары на сайте под управлением 1С-Битрикс.

Answer 1

[Сергей]

" Стандартная загрузка не сможет обработать такой объём данных за сутки." - с чего вы взяли?
Обычная загрузка в 3 часа ночи по крону каждый день.
Никаких проблем быть не должно, если сервер не 512 ОЗУ 1000мгц

Comments

[abubekovdd]

Не виртуальном хостинге на загрузку 30000 уходило 8 часов. Сейчас правда выделенный сервер и выгрузка переписанна что бы выгружаться по частям, по этой причине и думаю что не справится с объёмом в 400000 позиций в одном файле

[Сергей]

abubekovdd: ну я даже не знаю что у вас там за виртуальный. У меня 100.000 за пол часа проходит, если не меньше

[Сергей]

и это кстати на шаред хостинге.

[abubekovdd]

Сколько у вас свойств выгружается? Выгрузка идёт не в highload блоки?

[Сергей]

abubekovdd: Да по разному бывает свойств 7-10 свойств это мизерно вообще. Может под сотню где-то. Нет, не в HL

[abubekovdd]

Всё таки остановился я на HL, 110000 позиций загружается около минуты.

[Сергей]

abubekovdd: Вы товары в HL засунули или свойства?

[abubekovdd]

Целиком товары и свойства. Всё ради скорости работы.

[Сергей]

abubekovdd: Товары? Разве HL можно сделать торговым инфоблоком?

[abubekovdd]

Исходно нет, но тут задача немного другая + предполагается кастомизация некоторых компонентов которые помогут продавать товары из HL на сайте.