Долгое открытие страницы каталога на Joomla 3 + K2/Zoo, Почему?

Question

[47911]

Смотрю компоненты: Zoo, K2.
В них импортировал: ~500 категорий и ~ 1 000 000 шт. статей.

K2:

sql:

SELECT SQL_CALC_FOUND_ROWS i.*, c.name AS categoryname, c.id AS categoryid, c.alias AS categoryalias, c.params AS categoryparams 
  FROM #__k2_items AS i RIGHT JOIN #__k2_categories AS c 
  ON c.id = i.catid 
  WHERE i.published = 1 
  AND i.access IN(1,2,13) 
  AND i.trash = 0 
  AND c.published = 1 
  AND c.access IN(1,2,13) 
  AND c.trash = 0 
  AND (i.publish_up = '0000-00-00 00:00:00' OR i.publish_up <= '2020-12-20 11:33:12') 
  AND (i.publish_down = '0000-00-00 00:00:00' OR i.publish_down >= '2020-12-20 11:33:12') 
  ORDER BY i.id DESC 
  LIMIT 0, 14

Время запроса: 15856.41 ms После последнего запроса: 883.27 ms Память запроса: 0.040 MB Память до запроса: 39.984 MB Выбрано строк: 14

Результаты профилирования:

27.96 ms / 27.96 ms Память: 2.569 MB / 2.81 MB App:afterLoad
256.57 ms / 284.53 ms Память: 17.906 MB / 20.72 MB App:afterInitialise
91.69 ms / 376.22 ms Память: 5.980 MB / 26.70 MB App:Before Access::preloadComponents (all components)
4.40 ms / 380.62 ms Память: 0.171 MB / 26.87 MB App:After Access::preloadComponents (all components)
0.14 ms / 380.76 ms Память: 0.000 MB / 26.85 MB App:Before Access::getAssetRules (id:1 name:root.1)
1.37 ms / 382.13 ms Память: 0.114 MB / 26.97 MB App:After Access::getAssetRules (id:1 name:root.1)
905.94 ms / 1288.07 ms Память: 9.144 MB / 36.11 MB App:afterRoute
4.24 ms / 1292.31 ms Память: 0.063 MB / 36.18 MB App:beforeRenderComponent com_k2
0.70 ms / 1293.01 ms Память: 0.038 MB / 36.21 MB App:Before Access::getAssetRules (id:87 name:com_k2)
0.11 ms / 1293.13 ms Память: 0.010 MB / 36.22 MB App:After Access::getAssetRules (id:87 name:com_k2)
16266.44 ms / 17559.57 ms Память: 10.292 MB / 46.52 MB App:afterRenderComponent com_k2
10.26 ms / 17569.83 ms Память: 0.189 MB / 46.70 MB App:afterDispatch
268.99 ms / 17838.81 ms Память: 6.782 MB / 53.49 MB App:beforeRenderModule mod_roknavmenu ()
26.92 ms / 17865.74 ms Память: 1.505 MB / 54.99 MB App:afterRenderModule mod_roknavmenu ()
25.54 ms / 17891.28 ms Память: 0.000 MB / 54.94 MB App:beforeRenderModule mod_breadcrumbs (Breadcrumbs)
4.17 ms / 17895.45 ms Память: 0.043 MB / 54.98 MB App:afterRenderModule mod_breadcrumbs (Breadcrumbs)
1.86 ms / 17897.31 ms Память: 0.000 MB / 54.95 MB App:beforeRenderModule mod_search (Тестовый поиск)
4.74 ms / 17902.05 ms Память: 0.034 MB / 54.98 MB App:afterRenderModule mod_search (Тестовый поиск)
0.12 ms / 17902.17 ms Память: 0.000 MB / 54.98 MB App:beforeRenderModule mod_currentdatetime (Время)
4.62 ms / 17906.79 ms Память: 0.260 MB / 55.23 MB App:afterRenderModule mod_currentdatetime (Время)
0.61 ms / 17907.40 ms Память: 0.009 MB / 55.24 MB App:beforeRenderModule mod_search (JF - Search)
1.33 ms / 17908.73 ms Память: 0.020 MB / 55.26 MB App:afterRenderModule mod_search (JF - Search)
0.68 ms / 17909.40 ms Память: 0.000 MB / 55.24 MB App:beforeRenderModule mod_jf_login_pro (Форма входа)
11.53 ms / 17920.93 ms Память: 0.531 MB / 55.77 MB App:afterRenderModule mod_jf_login_pro (Форма входа)
0.58 ms / 17921.51 ms Память: 0.000 MB / 55.76 MB App:beforeRenderModule mod_menu (Меню профиля в регистрации)
15.27 ms / 17936.78 ms Память: 0.555 MB / 56.31 MB App:afterRenderModule mod_menu (Меню профиля в регистрации)
20.05 ms / 17956.83 ms Память: 0.521 MB / 56.84 MB App:Before Access::getAssetRules (id:1 name:root.1)
0.05 ms / 17956.87 ms Память: 0.002 MB / 56.84 MB App:After Access::getAssetRules (id:1 name:root.1)
584.01 ms / 18540.88 ms Память: 4.614 MB / 61.45 MB App:afterRender

Всего SQL-запросов: 15908.37 ms

Zoo:

sql:

SELECT c.*, GROUP_CONCAT(DISTINCT i.id) as item_ids 
  FROM #__zoo_category as c  USE INDEX (APPLICATIONID_ID_INDEX) 
  LEFT JOIN #__zoo_category_item as ci 
  ON ci.category_id = c.id 
  LEFT JOIN #__zoo_item AS i USE INDEX (MULTI_INDEX2) 
  ON ci.item_id = i.id 
  AND i.access IN (1,2,13) 
  AND i.state = 1 
  AND (i.publish_up = '0000-00-00 00:00:00' OR i.publish_up <= '2020-12-20 11:44:55') 
  AND (i.publish_down = '0000-00-00 00:00:00' OR i.publish_down >= '2020-12-20 11:44:55') 
  WHERE c.application_id = 2 
  AND c.published = 1 
  GROUP BY c.id

Время запроса: 6133.04 ms После последнего запроса: 1.18 ms Память запроса: 0.098 MB Память до запроса: 37.440 MB Выбрано строк: 446

SELECT DISTINCT BINARY CONVERT(LOWER(
  LEFT(name, 1)) USING utf8) letter 
  FROM #__zoo_item 
  WHERE id IN (SELECT item_id 
  FROM #__zoo_category_item) 
  AND application_id = 2 
  AND access IN (1,2,13) 
  AND state = 1 
  AND (publish_up = '0000-00-00 00:00:00' OR publish_up <= '2020-12-20 11:44:55') 
  AND (publish_down = '0000-00-00 00:00:00' OR publish_down >= '2020-12-20 11:44:55')

Время запроса: 7167.68 ms После последнего запроса: 9.75 ms Память запроса: 0.026 MB Память до запроса: 198.158 MB Выбрано строк: 128

Результаты профилирования:

49.01 ms / 49.01 ms Память: 2.569 MB / 2.81 MB App:afterLoad
300.46 ms / 349.47 ms Память: 17.950 MB / 20.76 MB App:afterInitialise
90.47 ms / 439.94 ms Память: 5.983 MB / 26.75 MB App:Before Access::preloadComponents (all components)
4.49 ms / 444.43 ms Память: 0.171 MB / 26.92 MB App:After Access::preloadComponents (all components)
0.10 ms / 444.53 ms Память: 0.000 MB / 26.90 MB App:Before Access::getAssetRules (id:1 name:root.1)
1.40 ms / 445.93 ms Память: 0.114 MB / 27.02 MB App:After Access::getAssetRules (id:1 name:root.1)
1142.29 ms / 1588.22 ms Память: 9.139 MB / 36.16 MB App:afterRoute
5.55 ms / 1593.77 ms Память: 0.028 MB / 36.18 MB App:beforeRenderComponent com_zoo
32.19 ms / 1625.96 ms Память: 1.051 MB / 37.23 MB App:Before Access::getAssetRules (id:1 name:root.1)
0.05 ms / 1626.01 ms Память: 0.003 MB / 37.24 MB App:After Access::getAssetRules (id:1 name:root.1)
13991.66 ms / 15617.67 ms Память: 161.417 MB / 198.65 MB App:afterRenderComponent com_zoo
27.54 ms / 15645.21 ms Память: 1.644 MB / 200.30 MB App:afterDispatch
3499.72 ms / 19144.93 ms Память: 13.182 MB / 213.48 MB App:beforeRenderModule mod_roknavmenu ()
374.87 ms / 19519.80 ms Память: 4.378 MB / 217.86 MB App:afterRenderModule mod_roknavmenu ()
512.21 ms / 20032.01 ms Память: 0.000 MB / 217.81 MB App:beforeRenderModule mod_custom (Позиция в форме входа, во всплывающем окне.)
4.00 ms / 20036.01 ms Память: 0.017 MB / 217.83 MB App:afterRenderModule mod_custom (Позиция в форме входа, во всплывающем окне.)
1.94 ms / 20037.96 ms Память: 0.029 MB / 217.86 MB App:beforeRenderModule mod_jf_contactmap (Наши контакты)
2.10 ms / 20040.06 ms Память: 0.105 MB / 217.96 MB App:afterRenderModule mod_jf_contactmap (Наши контакты)
1.84 ms / 20041.90 ms Память: 0.000 MB / 217.86 MB App:beforeRenderModule mod_jf_testimonials (Новости системы.)
1.71 ms / 20043.61 ms Память: 0.080 MB / 217.94 MB App:afterRenderModule mod_jf_testimonials (Новости системы.)
1.73 ms / 20045.34 ms Память: 0.000 MB / 217.86 MB App:beforeRenderModule mod_breadcrumbs (Breadcrumbs)
5.35 ms / 20050.68 ms Память: 0.044 MB / 217.90 MB App:afterRenderModule mod_breadcrumbs (Breadcrumbs)
1.47 ms / 20052.15 ms Память: 0.000 MB / 217.89 MB App:beforeRenderModule mod_custom (Рядом с Навигацией по сайту(Зелёная кнопка).)
0.86 ms / 20053.02 ms Память: 0.008 MB / 217.90 MB App:afterRenderModule mod_custom (Рядом с Навигацией по сайту(Зелёная кнопка).)
1.21 ms / 20054.23 ms Память: 0.000 MB / 217.90 MB App:beforeRenderModule mod_custom (Рядом с Навигацией по сайту.)
0.78 ms / 20055.01 ms Память: 0.008 MB / 217.90 MB App:afterRenderModule mod_custom (Рядом с Навигацией по сайту.)
0.73 ms / 20055.74 ms Память: 0.000 MB / 217.88 MB App:beforeRenderModule mod_search (Тестовый поиск)
6.75 ms / 20062.49 ms Память: 0.034 MB / 217.91 MB App:afterRenderModule mod_search (Тестовый поиск)
0.23 ms / 20062.72 ms Память: 0.000 MB / 217.90 MB App:beforeRenderModule mod_currentdatetime (Время)
6.52 ms / 20069.24 ms Память: 0.252 MB / 218.15 MB App:afterRenderModule mod_currentdatetime (Время)
1.10 ms / 20070.34 ms Память: 0.009 MB / 218.16 MB App:beforeRenderModule mod_search (JF - Search)
1.69 ms / 20072.03 ms Память: 0.020 MB / 218.18 MB App:afterRenderModule mod_search (JF - Search)
1.03 ms / 20073.06 ms Память: 0.000 MB / 218.16 MB App:beforeRenderModule mod_jf_login_pro (Форма входа)
14.46 ms / 20087.53 ms Память: 0.536 MB / 218.70 MB App:afterRenderModule mod_jf_login_pro (Форма входа)
1.03 ms / 20088.56 ms Память: 0.000 MB / 218.68 MB App:beforeRenderModule mod_menu (Меню профиля в регистрации)
21.61 ms / 20110.17 ms Память: 0.262 MB / 218.95 MB App:afterRenderModule mod_menu (Меню профиля в регистрации)
1.52 ms / 20111.68 ms Память: 0.000 MB / 218.93 MB App:beforeRenderModule mod_custom (JF Language (illustration))
0.74 ms / 20112.43 ms Память: 0.008 MB / 218.94 MB App:afterRenderModule mod_custom (JF Language (illustration))
1.58 ms / 20114.01 ms Память: 0.027 MB / 218.97 MB App:beforeRenderModule mod_jf_bundle (Быстрая навигация)
2.19 ms / 20116.20 ms Память: 0.086 MB / 219.05 MB App:afterRenderModule mod_jf_bundle (Быстрая навигация)
976.94 ms / 21093.14 ms Память: 2.164 MB / 221.22 MB App:Before Access::getAssetRules (id:194289 name:com_useractivity)
0.06 ms / 21093.20 ms Память: 0.003 MB / 221.22 MB App:After Access::getAssetRules (id:194289 name:com_useractivity)
1524.25 ms / 22617.46 ms Память: 0.704 MB / 221.92 MB App:Before Access::getAssetRules (id:322 name:com_autotweet)
0.05 ms / 22617.51 ms Память: 0.003 MB / 221.93 MB App:After Access::getAssetRules (id:322 name:com_autotweet)
2600.32 ms / 25217.82 ms Память: 3.102 MB / 225.03 MB App:afterRender

Всего SQL-запросов: 14079.03 ms

Это первое обращение к "главной странице компонента".
Собственно вопрос: а чё так много по времени?

Comments

[47911]

Индексы есть стандартные, разработчиками компонентов. Сервер: 94 гига, 32 Ядра по 3000 герц.

Конфиг базы(MariaDB):

#
# These groups are read by MariaDB server.
# Use it for options that only the server (but not clients) should see

# this is read by the standalone daemon and embedded servers
[server]

# this is only for the mysqld standalone daemon
[mysqld]
#open_files_limit = 16364000
#
# * Basic Settings
#

user                    = mysql
pid-file                = /run/mysqld/mysqld.pid
basedir                 = /usr
datadir                 = /var/lib/mysql
tmpdir                  = /tmp
lc-messages-dir         = /usr/share/mysql
lc-messages             = en_US
skip-external-locking

# Broken reverse DNS slows down connections considerably and name resolve is
# safe to skip if there are no "host by domain name" access grants
#skip-name-resolve

# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
bind-address            = 127.0.0.1

#
# * Fine Tuning
#

#key_buffer_size        = 128M
#max_allowed_packet     = 1G
#thread_stack           = 192K
#thread_cache_size      = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
#myisam_recover_options = BACKUP
#max_connections        = 100
#table_cache            = 64

#
# * Logging and Replication
#

# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# Recommend only changing this at runtime for short testing periods if needed!
#general_log_file       = /var/log/mysql/mysql.log
#general_log            = 1

# When running under systemd, error logging goes via stdout/stderr to journald
# and when running legacy init error logging goes to syslog due to
# /etc/mysql/conf.d/mariadb.conf.d/50-mysqld_safe.cnf
# Enable this if you want to have error logging into a separate file
#log_error = /var/log/mysql/error.log
# Enable the slow query log to see queries with especially long duration
#slow_query_log_file    = /var/log/mysql/mariadb-slow.log
#long_query_time        = 10
#log_slow_verbosity     = query_plan,explain
#log-queries-not-using-indexes
#min_examined_row_limit = 1000

# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
#       other settings you may need to change.
#server-id              = 1
#log_bin                = /var/log/mysql/mysql-bin.log
expire_logs_days        = 10
#max_binlog_size        = 100M

#
# * SSL/TLS
#

# For documentation, please read
# https://mariadb.com/kb/en/securing-connections-for-client-and-server/
#ssl-ca = /etc/mysql/cacert.pem
#ssl-cert = /etc/mysql/server-cert.pem
#ssl-key = /etc/mysql/server-key.pem

#
# * Character sets
#

# MySQL/MariaDB default is Latin1, but in Debian we rather default to the full
# utf8 4-byte character set. See also client.cnf
character-set-server  = utf8mb4
collation-server      = utf8mb4_general_ci

#
# * InnoDB
#

# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!
# Most important is to give InnoDB 80 % of the system RAM for buffer use:
# https://mariadb.com/kb/en/innodb-system-variables/#innodb_buffer_pool_size
#innodb_buffer_pool_size = 8G

# this is only for embedded server

############################################################## KOLDOBCTBO
max_allowed_packet     = 256M
max_connections        = 1000
#read_buffer_size = 1M
#key_buffer_size        = 128M
#sort_buffer_size = 2M
##read_rnd_buffer_size = 1M
##thread_stack		= 192K
#query_cache_limit	= 4M
#join_buffer_size = 8M;
wait_timeout = 20
interactive_timeout = 5
innodb_buffer_pool_size = 48G
innodb_log_file_size = 6G
innodb_log_buffer_size = 32M
innodb_file_per_table = ON
innodb_flush_log_at_trx_commit = 0
innodb_flush_method = O_DSYNC

thread_cache_size = 720
query_cache_size = 0
query_cache_type = 0
thread_handling=pool-of-threads
#innodb_buffer_pool_instances=4
#wait_timeout = 15
#interactive_timeout = 15
net_write_timeout = 5
net_read_timeout = 5
long_query_time = 3
slow_query_log_file = /var/log/mysql/mysql-slow.log
general_log            = 0
#general_log_file       = /var/log/mysql/mysql.log

skip-name-resolve=1
table_open_cache = 8192
table_definition_cache = 20891
performance_schema = ON
innodb_buffer_pool_instances = 24
join_buffer_size = 1G
tmp_table_size = 512M
max_heap_table_size = 512M

key_buffer_size		= 64M
sort_buffer_size = 32M
read_rnd_buffer_size = 1M

open_files_limit = 1636400

[embedded]

# This group is only read by MariaDB servers, not by MySQL.
# If you use the same .cnf file for MySQL and MariaDB,
# you can put MariaDB-only options here
[mariadb]

# This group is only read by MariaDB-10.5 servers.
# If you use the same .cnf file for MariaDB of different versions,
# use this group for options that older servers don't understand
[mariadb-10.5]

Answer 1

[exmmth]

судя по профилированию у вас com_autotweet поджирает как не в себя больше всех
https://extensions.joomla.org/extension/autotweet-ng/
что он у вас делает, думаю стоит поискать ему альтернативу

к2 бы брать не советовал совсем

по zoo есть хаки у нас тут https://github.com/JBZoo-CCK/Zoo-Hacks

по материалам позвал коллег из чата по Joomla

Comments

[47911]

com_autotweet есть у Zoo, но это не основная нагрузка. Чем вам не нравится K2 ? Я вижу у него запрос более способный к "ускорению" через переписывания.

[exmmth]

zoo лучше с точки зрения cck-контруктора контента, Евгений ниже привел модификацию для ускорения запроса.
основное у вас отжирает App:afterRenderComponent com_zoo, сколько записей там выбранных получилось, сколько сам запрос время занимает, дальше смотреть что внутри zoo тратит время по мимо запроса.
В предыдущем вопросе по com_content вам Дмитрий Рекун указали на ACL, в zoo его тоже можно через "хаки" потеснить.

[exmmth]

47911, добавляйтесь в телеграм, там коммуникацию вести куда быстрее https://t.me/projoomla

[47911]

exmmth, нету телеграма - не пользуюсь.
com_content:
Импортировали в джумла, в итоге всё жутко тормозит(в админке и с наружи), потребовал больше памяти с внешней стороны. Импортировал в assets - использовал одни и теже значения., не проканало: открывает по ссылке не то, что должен по логиге вещей.

Какие варианты?(кроме копания в Zoo)

[exmmth]

47911, Пока ваша задача звучит просто миллион статей хранить, можно из базы на прямую их брать своим кодом, но у Вас всяко она шире.

Нужно подробности, что кроме миллиона статей:

1. разграничение прав доступа
2. множественная привязка к категории
3. публикация и снятие публикации по времени
4. какие выводы страниц (типы страниц) нужны
5. фильтрация статей
6. сама страница статьи какие данные хранит по мимо заголовка и текста?
   

[47911]

Грубо говоря: Иерархия категорий 3-4 уровня вложенности(ГлобальнаяКатегория-Страна-Регион-Город), по количеству в одной категории 300 000 шт.
Статья содержит:
-Название
-Текст
Желательно доп характеристики(для фильтрации)(например):
-Тип(1 из ...)
-Статус(1 из ...)
-Рубрики(список)

Страницы между собой однотипны. В будущем будет "2-я глобальная категория" с другими "доп. характеристиками".

Зависимость от даты нет.

Множественная привязка не требуется(Хватит вывода "текущей категории").

Answer 2

[Евгений]

Вам этот запрос подправить нужно: https://github.com/JBZoo-CCK/Zoo-Hacks/blob/master...