Как автоматизировать привязку товаров / категорий?

Question

[Антон Ф]

Подскажите как можно сделать автоматизацию в привязке категорий. Имеется более 10к магазинов с 1 200 000 уникальными категориями и более 70 000 000 товаров. Нужно правильно определить и привязать к нашим категориям их 7к.

Система должна быть похоже чем-то на автопривязки маркета, в ручную это делать утопично..

Comments

[posters]

в ручную это делать утопично..

Почему же? Наймите тысячу фрилансеров. Желающих отыскать будет не сложно.

[Игорь]

Всё можно, но только такие вопросы решаются на другом форуме.

Скажу так, на днях мне предстоит связать 5 000 000 c 1200 категориями.
И для этого я написал программу, которая будет работать несколько суток, выполнять привязку.

С помощью какого языка планируете решать вашу проблему?

[Антон Ф]

Игорь, думаю сделать это на базе php

[Антон Ф]

posters, сложно в проверке, скорости и деньгах.. на дворе 21 век. Руками нужно корректировать и обучать ботов ))

[Игорь]

Антон Ф, Проблем не вижу.

Реализуйте функцию или несколько функций для привязки одного товара.
Выполните её 70 000 000 раз.

Иногда я выполняю подобные задачи.

Полёт фантазии.

Напишите функцию, для получения 1 товара.
Например

function productNext($offset)
{
   ...
   return $product;
}

Напишите функцию, для выполнения привязки.
Например

function productBind($product)
{
   ...
   return true;
}

$offset = 0
 while (true) {
   $product = productNext($offset)
   if (!$product) break;

   productBind($product)
   $offset++;
}

[Игорь]

70 000 000 это очень много.
70 000 000 это очень долго.

Выполните замер выполнения одной итерации, выполните не хитрый расчёт.
Вы получите ответ, за сколько дней вы выполните данную задачу.

Не забудьте реализовать возможность запоминать смещение для выборки подмножества, что бы не приходилось повторять заново через несколько дней, при каком нибудь сбое, а это произойдёт.
Есть ещё нюансы с утечкой памяти, что тоже имеет место.
Особенно на таких объемах и в замкнутом цикле.

Answer 1

[xmoonlight]

Цепочки разных категорий-синонимов привязываем к одной своей цепочке категорий.
Режим - полуавтоматический:
Вручную: указание 2-5 товаров для одной связки.
Если повтор размеченной более 2-5 раз категории - уже автопривязка.

Comments

[Антон Ф]

Грубо говоря берем из категории 5 товаров и вяжем к нужной категории, если подобная операция повторилась 5 раз то вяжем все товары к этой категории. Правильно понял?

[xmoonlight]

Антон Ф, да.