Какую СУБД выбрать для высоконагруженного проекта?

Question

[Хуршед Абдужалил]

Сейчас есть проект в котором миллионы записей. используется реляционная бд в mysql(версия 5.5)
products (15+млн записей)
category (1к)
tag (100к)
products_to_category (60+млн)
products_to_tag(60+млн)

но что то жестко тормозит, сейчас думаем перейти на другой СУБД или же обновиться до версии 5.7 , Что выбрать, чтобы хоть как то уменьшить нагрузку?

p.s тормозят еще дополнительно когда сортировку включаешь по дате создание если сортировать то запрос будет медленнее выполняться на 5-10 секунд

Comments

[Decadal]

вы используете redis \ memcached?

[Хуршед Абдужалил]

Decadal, memcached

Answer 1

[Евгений Калибров]

Для MySQL указанное вами количество записей в таблицах не является критичным. Ищите узкие места в запросах и индексах. Попробуйте через EXPLAIN подебажить ваш запрос, тут подробнее почитайте об этом - https://habrahabr.ru/post/211022/

Comments

[Хуршед Абдужалил]

да уже сколько раз переписали, и индексы расставили но эффект не большой

[Евгений Калибров]

Хуршед Абдужалил, можете дать пример тормозящего запроса?

[Хуршед Абдужалил]

Евгений Калибров,

SELECT COUNT(DISTINCT `p`.`id`)
  FROM `products` AS `p`
  JOIN `products_to_tag` AS `p2t` ON `p`.`id` = `p2t`.`product_id`
  JOIN `city` AS `c` ON `c`.`id` = `p`.`city_id`
Where
`p`.`publish` = 1
    AND `p2c`.`tag_id` IN (917, 918, 919, 920, 921)
    AND (`c`.`id` = 108 OR `c`.`parent_id` = 108)

[Евгений Калибров]

Хуршед Абдужалил, почему вы делаете просто JOIN, а не LEFT JOIN ? И зачем DISTINCT `p`.`id`, разве поле id не имеет первичный ключ?

[Хуршед Абдужалил]

Евгений Калибров, насчет distinct из за того что у одного товара может быть несколько тегов в таблице products_to_tag, Если не делать то будут дубли

[Евгений Калибров]

Хуршед Абдужалил, А что вы хотите посчитать этим запросом?

[Хуршед Абдужалил]

Евгений Калибров, количество товаров с тегами 917, 918, 919, 920, 921 в городе или регионе с Id 108

[Евгений Калибров]

Попробуйте с LEFT JOIN и без DISTINCT:

SELECT COUNT(`p`.`id`)
  FROM `products` AS `p`
  LEFT JOIN `products_to_tag` AS `p2t` ON `p`.`id` = `p2t`.`product_id`
  LEFT JOIN `city` AS `c` ON `c`.`id` = `p`.`city_id`
Where
`p`.`publish` = 1
    AND `p2c`.`tag_id` IN (917, 918, 919, 920, 921)
    AND (`c`.`id` = 108 OR `c`.`parent_id` = 108)

[Хуршед Абдужалил]

Евгений Калибров, без distinct появляются дубли но быстро выполняется относительно, меньше секунды, с distinct нужное количество но выполняется более 30 секунд

[Евгений Калибров]

А если группировку сделать ещё GROUP BY ?

SELECT COUNT(`p`.`id`)
  FROM `products` AS `p`
  LEFT JOIN `products_to_tag` AS `p2t` ON `p`.`id` = `p2t`.`product_id`
  LEFT JOIN `city` AS `c` ON `c`.`id` = `p`.`city_id`
Where
`p`.`publish` = 1
    AND `p2c`.`tag_id` IN (917, 918, 919, 920, 921)
    AND (`c`.`id` = 108 OR `c`.`parent_id` = 108)
GROUP BY `p`.`id`

[Хуршед Абдужалил]

Евгений Калибров, с distinct и group by результат почти одинаковый долго выполняются запросы

[Евгений Калибров]

Я тут подумал, что вот так нужно переписать и будет быстрее работать:

SELECT `products_count`.`v`
  FROM `products_to_tag` AS `p2t`
  JOIN (
    SELECT
      `product_id`,
      COUNT(*) as `v`
    FROM `products` AS `p` 
    WHERE `p`.`publish` = 1
    group by `products`.`id`
  ) as products_count 
  on `products_count`.`product_id` = `p2t`.`product_id`
  JOIN `city` AS `c` ON `c`.`id` = `p`.`city_id`
Where
    `p2c`.`tag_id` IN (917, 918, 919, 920, 921)
    AND (`c`.`id` = 108 OR `c`.`parent_id` = 108)

Работу не проверял, может есть ошибки, но думаю сама идея должна быть понятна.

[Хуршед Абдужалил]

Евгений Калибров, не, не работает тогда выводится несколько строк и всех значение 1

Answer 2

[Василий Назаров]

15 млн для MySQL при грамотной схеме и запросах вообще ничто.
Впрочем
1. Памяти хорошо бы побольше (и это не зависит, MySQL или что-то более модное), и эту память нужно ещё правильно "отдать" (настроить конфиги) MySQL-ю.
2. Смотрите конкретный SQL-запрос.
Возможно, его имеет смысл разбить на несколько, без JOIN-ов (JOIN-ы часто хотят ооочень много памяти, а если её не хватает, тормозят жутко). Особенно при использовании сортировки. (Ваше "когда сортировку включаешь" косвенно указывает, что тут и есть проблема).

Answer 3

[beduin01]

Попробуйте до MariaDB/Percona обновиться и протюнинговать БД.