Эффективен ли Nestedset на больших данных?

Question

[Игорь]

Коллеги, добрый вечер!
У кого есть опыт работы с моделью хранения вложений, Nestedset?

У меня в ТЗ задача.

5 000 000 организаций.
У каждой организации есть свои услуги.
Услуги группируются.
Пример:
---------------------------------
Обслуживание автомобилей (группа)
---Замена масла
---Диагностика
---Замена тормозных колодок

Присмотрелся к модели хранения Nestedset, для того чтобы группировать услуги.
Своего рода категории, но только услуги.

Насколько мне известно, при добавлении каждой записи производится перерасчёт TreeLeft и TreeRight

Я начинаю создавать услуги и привязать к организациям.
Я предполагаю, что на 100 тыс уже могут возникнуть проблемы, с долгим вычислением.

Стоит ли использовать Nestedset ?

Comments

[Максим Федоров]

Почитайте ресерч этого автора
https://m.habr.com/ru/post/47280/

[FanatPHP]

Но услуги же для всех общие, а не у каждой из 5 миллионов свои?

[Игорь]

FanatPHP, Да, верно.
Нормализация соблюдена.

[Игорь]

FanatPHP, например замена масла может быть у 800 тыс. организаций.

Answer 1

[developer007]

nested sets подходит когда вставка элементов будет не частая
Например подойдет для реферальной системы - юзеры регистрируются не сильно часто, а страницу с рефералами чуть ли не каждую секунду обновляют.

Наверняка кто-то захочет экспортировать услуги из excel файла с кучей записей

Думаю вам подойдет closure tables
https://habr.com/ru/post/263629/

Comments

[Игорь]

Вставок будет много, но один раз.
Сейчас уточнил предварительные цифры.

Порядка 1500 записей.
Но это не точно.
Возможно будет много.

[Сергей Горностаев]

Игорь, если 1500 разом, то не проблема. Если 1500 в секунду, то проблема.

[Игорь]

Сергей Горностаев, Ок. Да, понимаю...

[Игорь]

Вставок будет много, но всего один раз, при наполнении данными.
Но потом будет дичайшая выборка.

[Игорь]

hwnd32, почему одного потомка так сложно получить?

[developer007]

Игорь, где вы картинку взяли?

[Игорь]

hwnd32, С Хабра.
Ссылку которую вы мне дали.

[Игорь]

Что-то меня настораживает Nested set

Код для теста

for ($x = 1; $x < 10000; $x++) {
            $start = microtime(true);
            $cx = new Category();
            $cx->setName("x - " . $x);

            for ($y = 1; $y < 50; $y++) {
                $cy = new Category();
                $cy->setName("y - " . $y);
                $cy->setParent($cx);
                $manager->persist($cy);
            }
            $manager->persist($cx);
            $manager->flush();
            $manager->clear();
            $time = microtime(true) - $start;
            print "INSERT $x - $time" . PHP_EOL;
        }

С права, время выполнения скрипта на вставку записи.

INSERT 1 - 4.1240599155426
INSERT 2 - 2.9922580718994
INSERT 3 - 3.4141948223114
INSERT 4 - 2.9524540901184
INSERT 5 - 2.9456770420074
INSERT 6 - 2.9329760074615
INSERT 7 - 3.33536195755
INSERT 8 - 3.1516230106354
INSERT 9 - 3.3340380191803
INSERT 10 - 3.7052381038666
INSERT 11 - 3.5456919670105
INSERT 12 - 4.6236689090729
INSERT 13 - 5.1289169788361
INSERT 14 - 5.2330839633942
INSERT 15 - 3.8515930175781
INSERT 16 - 5.9288070201874
INSERT 17 - 4.1212630271912
INSERT 18 - 5.0301640033722
INSERT 19 - 4.4948139190674
INSERT 20 - 3.8037729263306
INSERT 21 - 4.4892470836639
INSERT 22 - 6.8565120697021
INSERT 23 - 5.2171030044556
INSERT 24 - 4.2006359100342
INSERT 25 - 3.8634679317474
INSERT 26 - 3.8861458301544
INSERT 27 - 4.3592522144318
INSERT 28 - 3.8575818538666
INSERT 29 - 5.7499611377716
INSERT 30 - 6.046749830246
INSERT 31 - 5.7323040962219
INSERT 32 - 5.1275308132172
INSERT 33 - 3.8832950592041
INSERT 34 - 5.2584328651428
INSERT 35 - 3.3269391059875
INSERT 36 - 4.0463058948517
INSERT 37 - 3.626825094223
INSERT 38 - 4.3620519638062
INSERT 39 - 3.3635430335999
INSERT 40 - 3.6417429447174
INSERT 41 - 2.9653568267822
INSERT 42 - 4.2108299732208
INSERT 43 - 3.2916820049286
INSERT 44 - 3.1166570186615
INSERT 45 - 3.1292128562927
INSERT 46 - 3.4845941066742
INSERT 47 - 2.962954044342
INSERT 48 - 3.3803770542145
INSERT 49 - 3.0479538440704
INSERT 50 - 3.0602400302887

INSERT 119 - 3.6598789691925

INSERT 196 - 3.159234046936
INSERT 197 - 3.9671618938446
INSERT 198 - 3.0813698768616
INSERT 199 - 3.4000020027161

Не прошло и пол года

INSERT 1024 - 4.0453591346741
INSERT 1025 - 3.5422420501709
INSERT 1026 - 3.0147190093994
INSERT 1027 - 3.0681409835815

Планируется много корневая поддержка.

[Игорь]

Коллеги, у кого есть опыт работы с Nested set
Если использовать много корневой подход.

Если предположить, что записей будет несколько миллионов (гипотетически).
Несколько миллионов корневых категорий
Каждый из которых будет содержать не более 50 дочерних элементов.

Исходя из этого, нам не нужно пересчитывать все несколько миллионов, а достаточно пересчитать 1 корневой элемент.

Да можно было бы использовать Closure table, но что-то он не работает из коробки.
Времени нет, нужен рабочий экземпляр приложения.

Дайте комментарий.
Спасибо.

[Игорь]

Если посмотреть на

INSERT 1 - 4.1240599155426
INSERT 2 - 2.9922580718994
INSERT 3 - 3.4141948223114
INSERT 4 - 2.9524540901184

и

INSERT 1024 - 4.0453591346741
INSERT 1025 - 3.5422420501709
INSERT 1026 - 3.0147190093994
INSERT 1027 - 3.0681409835815

Каждый из них содержит 50 детей.

Время на вставку одинаково.