Как правильно организовать БД для загрузки прайс-листов поставщиков?

Question

[Алексей]

Доброго времени суток коллеги!
Не силен в базах данных, прошу совета бывалых и знающи людей.
Задача такова:
Есть партнеры, которые присылают свои прайс-листы на почту (в основном это XLS файлы или CSV). Прайсы меняются (цена и количество товара на складе) каждые 6 часов. Количество номенклатуры в прайсе у одного и того же поставщика может быть разным.

Первое что может прийти в голову – это перед обновлением удалять все записи импортируемого поставщика и записывать новые данные.

Второй вариант – завести промежуточную таблицу куда произвести весь импорт и затем очистить основную таблицу и записать в нее данные.

Может кто предложит другие варианты?

Comments

[Akina]

Вариант с промежуточным хранилищем - правильный.

Остальное зависит объёма данных и от того, как именно организована работа с данными (например, есть ли учёт даты-времени записи при обработке для дубликатов товара).

[Алексей]

Akina, Доброго времени суток!
Не совсем понял про учет времени - если имеется ввиду в самом файле прайс-листа, то там такого нет. Если речь идет о структуре таблицы то ДА, есть два поле create, update (dateTime).

Общее количество записей со всех файлов более 100 000, уникальных полей нету. Вот думаю как все это дело организовать.

P.S. Проект достался по наследству, сейчас пытаюсь привести все в человеческий вид. На данном этапе все делается в одной таблице и при обновлении данные удаляются и заново записывается. Как вы понимаете поле ID имеет довольно внушительный счетчик и я боюсь, что через некоторое время он встанет превысив максимальное значение.

[Akina]

Не совсем понял про учет времени - если имеется ввиду в самом файле прайс-листа, то там такого нет. Если речь идет о структуре таблицы то ДА, есть два поле create, update (dateTime).

Я имею в виду, что если в таблице есть две записи одного и того же товара с разными датами, будет ли ПО при выборке либо обработке использовать только одну из них, актуальную, или тупо обработает обе?

поле ID имеет довольно внушительный счетчик и я боюсь, что через некоторое время он встанет превысив максимальное значение.

Какой тип данных у поля? какое в настоящий момент значение?

[Алексей]

@Akina

Я имею в виду, что если в таблице есть две записи одного и того же товара с разными датами, будет ли ПО при выборке либо обработке использовать только одну из них, актуальную, или тупо обработает обе?

ПО как раз пишу под это дело, вывод еще не думал т.к. нужно сначала с записью и обновлением разобраться, потом можно будет думать по выборке записей из таблицы.

Какой тип данных у поля? какое в настоящий момент значение?

CREATE TABLE `price` (
  `id` int(11) NOT NULL,
  `name` text COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `vendor` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `vendor_artikul` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `price` float DEFAULT NULL,
  `stock` int(11) DEFAULT NULL,
  `partner_id` int(11) DEFAULT NULL,
  `created_at` int(11) DEFAULT NULL,
  `updated_at` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

--
-- Индексы сохранённых таблиц
--

--
-- Индексы таблицы `price`
--
ALTER TABLE `price`
  ADD PRIMARY KEY (`id`),
  ADD KEY `idx-price-partner_id` (`partner_id`);

--
-- AUTO_INCREMENT для сохранённых таблиц
--

--
-- AUTO_INCREMENT для таблицы `price`
--
ALTER TABLE `price`
  MODIFY `id` int(11) NOT NULL AUTO_INCREMENT;
COMMIT;

Поля created_at, updated_at - timestamp

Файл CSV вот так выглядит:
Производитель;Номер;Наименование;Количество;Цена;Партия
NARVA;84002;ЛАМПА D2S 85V-35W (P32D-2) 4300K (NARVA);3;1384,00;1
NARVA;84006;ЛАМПА D2R 85V-35W (P32D-3) 4300K (NARVA);13;1384,00;1
NISSAN;01125S133E;БОЛТ С ГАЙКОЙ И ШАЙБОЙ;3;152,76;1
NISSAN;01125S211E;БОЛТ;1;135,47;1
NISSAN;01125S218E;БОЛТ;1;209,27;1
NISSAN;01223N2011;ШАЙБА;5;66,54;1
NISSAN;01223S203E;ГАЙКА;6;104,13;1



---------

Поправьте меня если я не прав:
Одна таблица (основная) у меня есть, теперь нужно создать промежуточную таблицу куда будем грузить обновления. Затем из промежуточной таблицы обновляем все записи в основной таблице?

[Akina]

Хорошо, тип данных INT. А до какого значения ты добрался-то? Что покажет
SELECT MAX(id) FROM price;

Поправьте меня если я не прав:
Одна таблица (основная) у меня есть, теперь нужно создать промежуточную таблицу куда будем грузить обновления. Затем из промежуточной таблицы обновляем все записи в основной таблице?

В простейшем варианте всё правильно. Только ещё надо предусмотреть удаление.

[Алексей]

Akina,

SELECT MAX(id) FROM price;

Если брать рабочую таблицу проекта, то на текущий момент 83405454

В простейшем варианте всё правильно. Только ещё надо предусмотреть удаление.

С удалением нужно подумать... Даже не знаю с чего начать, т.к. номенклатура (количество) может менять у каждого из поставщиков как в большую так и меньшую сторону.

Сейчас реализовал только импорт данных в таблицу Price теперь думаю как реализовать обновление всех этих данных

[Akina]

Если брать рабочую таблицу проекта, то на текущий момент 83405454

Для справки - максимально возможное значение для INT составляет 2147483647, т.е. в 25 с хвостиком раз больше.

Answer 1

[Rsa97]

UPDATE `table`
  SET `updated` = 0
  WHERE `supplier_id` = :supplierId;

INSERT INTO `table` (..., `supplier`, `updated`)
  VALUES (..., :supplierId, 1)
  ON DUPLICATE KEY UPDATE ..., `updated` = 1;

DELETE FROM `table`
  WHERE `supplier` = :supplierId AND `updated` = 0;

Comments

[Rsa97]

ChairfaceChippendale, Какой именно?

[Akina]

Зачем ручная работа с updated? куда как разумнее автозаполняемое поле даты-времени создания/обновления записи.