Медленная отработка php-fpm?

Question

[brar]

После удаления upload/resize_cache впервые открываемая карточка товара отрабатывает около минуты.
В это время проц нагружается php-fpm на 100%. То есть, создание кэша очень долгое.
Подумал, что связано с ресайзом картинки. Удалил у товара картинки вообще (в анонсе тоже). Чищу снова кэш. Заново открываю страницу. 30 секунд.

Включил slow log на включение через 20 сек (кстати не важно 5 или 60 вывод одинаковый) в пуле php-fpm.

И там вот такой расклад:

[05-Oct-2019 17:38:12]  [pool www] pid 32313
script_filename = /var/www/site/public_html/bitrix/urlrewrite.php
[0x00007fbea0e1fe80] imageconvolution() /var/www/site/public_html/bitrix/modules/main/classes/general/file.php:2415
[0x00007fbea0e1fd50] ApplyImageFilter() /var/www/site/public_html/bitrix/modules/main/classes/general/file.php:2335
[0x00007fbea0e1faf0] ResizeImageFile() /var/www/site/public_html/bitrix/php_interface/include/ccustomfile.php:125
[0x00007fbea0e1f8c0] ResizeImageGetJpg() /var/www/site/public_html/bitrix/templates/site_redesign_052018/components/bitrix/catalog.top/more_products/result_modifier.php:21
[0x00007fbea0e1f620] [INCLUDE_OR_EVAL]() /var/www/site/public_html/bitrix/modules/main/classes/general/component_template.php:882
[0x00007fbea0e1f550] __IncludeMutatorFile() /var/www/site/public_html/bitrix/modules/main/classes/general/component_template.php:789
[0x00007fbea0e1f440] IncludeTemplate() /var/www/site/public_html/bitrix/modules/main/classes/general/component.php:735
[0x00007fbea0e1f390] showComponentTemplate() /var/www/site/public_html/bitrix/modules/main/classes/general/component.php:683
[0x00007fbea0e1f300] includeComponentTemplate() /var/www/site/public_html/bitrix/modules/iblock/lib/component/base.php:4147
[0x00007fbea0e1f2a0] loadData() /var/www/site/public_html/bitrix/modules/iblock/lib/component/elementlist.php:1167
[0x00007fbea0e1f250] loadData() /var/www/site/public_html/bitrix/modules/iblock/lib/component/base.php:4126
[0x00007fbea0e1f1f0] initialLoadAction() /var/www/site/public_html/bitrix/modules/iblock/lib/component/base.php:4311
[0x00007fbea0e1f190] call_user_func() /var/www/site/public_html/bitrix/modules/iblock/lib/component/base.php:4311
[0x00007fbea0e1f110] doAction() /var/www/site/public_html/bitrix/modules/iblock/lib/component/base.php:4329
[0x00007fbea0e1f090] executeComponent() /var/www/site/public_html/bitrix/modules/main/classes/general/component.php:638
[0x00007fbea0e1ef90] includeComponent() /var/www/site/public_html/bitrix/modules/main/classes/general/main.php:1038
[0x00007fbea0e1edd0] IncludeComponent() /var/www/site/public_html/bitrix/templates/site_redesign_052018/components/aplix/catalog/.default/element.php:146
[0x00007fbea0e1ecd0] [INCLUDE_OR_EVAL]() /var/www/site/public_html/bitrix/modules/main/classes/general/component_template.php:725
[0x00007fbea0e1eb50] __IncludePHPTemplate() /var/www/site/public_html/bitrix/modules/main/classes/general/component_template.php:820
[0x00007fbea0e1ea40] IncludeTemplate() /var/www/site/public_html/bitrix/modules/main/classes/general/component.php:735
[0x00007fbea0e1e990] showComponentTemplate() /var/www/site/public_html/bitrix/modules/main/classes/general/component.php:683
[0x00007fbea0e1e900] includeComponentTemplate() /var/www/site/public_html/bitrix/components/aplix/catalog/component.php:149
[0x00007fbea0e1e760] [INCLUDE_OR_EVAL]() /var/www/site/public_html/bitrix/modules/main/classes/general/component.php:594
[0x00007fbea0e1e630] __includeComponent() /var/www/site/public_html/bitrix/modules/main/classes/general/component.php:653
[0x00007fbea0e1e530] includeComponent() /var/www/site/public_html/bitrix/modules/main/classes/general/main.php:1038
[0x00007fbea0e1e370] IncludeComponent() /var/www/site/public_html/catalog/index.php:307
[0x00007fbea0e1e2c0] [INCLUDE_OR_EVAL]() /var/www/site/public_html/bitrix/modules/main/include/urlrewrite.php:159
[0x00007fbea0e1e0a0] [INCLUDE_OR_EVAL]() /var/www/site/public_html/bitrix/urlrewrite.php:2

Это в логе появляется сразу по истечение 20 секунд (значение request_slowlog_timeout). Страница через 25 сек загружается, в этот лог ничего не добавляется.

Comments

[Евгений]

Первым делом включите встроенную отладку и посмотрите какая часть страницы за сколько отрабатывает. Толку от этого вывода я не вижу ни какого

[brar]

Евгений, Самое длительное время у этого:

bitrix:catalog.top	 авто	 97 КБ	96.58%	18.7374 сек.	40 запр.	0.0657 сек.

Путь к файлу: /bitrix/components/bitrix/catalog.top/component.php
Время генерации: 18.737408876419 сек.
Всего запросов: 40, время: 0.065674545168457 сек. (0.35%)

У всех остальных доли секунды.

[Евгений]

Я бы еще посоветовал сделать тест производительности битриксовый встроенный и посмотреть на результаты файловой системы.

Answer 1

[Александр Маджугин]

Это и есть кэш отресайзеных картинок и долго генерится именно он. Возможно медленная дисковая подсистема. Возможно картинки огромные + наложение ватермарка.

Удалил у товара картинки вообще (в анонсе тоже). Чищу снова кэш. Заново открываю страницу. 30 секунд.

Посмотрите на странице есть картинки показываемые из upload/resize_cache

А вообще открывайте шаблон и result_modifier.php этого компонента и смотрите что там за код.

Comments

[brar]

Посмотрите на странице есть картинки показываемые из upload/resize_cache

Да, есть. Ниже карточки товара блок "Другие товары". 8 штук ресайз фото. Собственно, в отладке именно этот блок и есть bitrix:catalog.top , насколько я понимаю. Ориганалы фоток по 1мБ.

[Александр Маджугин]

Ну вот он и ресайзит картинки. Как отресайзит все - будет живенько работать.

[Евгений]

Это что же за диск такой, чтобы так долго картинки ресайзило.

[brar]

Евгений, диск точно в порядке. SSD. Его первым делом тестировал.
Но вот, к сожалению, прочитать код в битре, который ресайзит картинки я не силен.
Просто странность (или нет?) сегодня еще одну выявил. Все картинки в png, но в resize_cache они создаются в jpg. То есть, фактически идет еще и конвертация.

[Евгений]

Сделайте все таки внутренний тест проверки производительности и покажите результат.
Так же проверьте такую опцию в php как open_basedir, которая сильно замедляет работу битрикса с файловой системой. Посмотрите возможно она установлена, должна быть пустой.

[brar]

Евгений,
Диск:
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.97144 s, 135 MB/s
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 5.56653 s, 193 MB/s
Нагрузка во время ресайза идёт на проц. На 100%, одно ядро. PHP-FPM.
PHP оттюнингован тоже.

Собственно, поэтому претензии скорее к скрипту битры (именно моей битры), который занимается ресайзом и зачем-то конвертацией из png в jpg. Ибо процесс конвертации действительно более напряжен для проца в зависимости от опций, нежели просто ресайз.
Мне бы знать, какую-часть этого кода битры копать и наверное новый вопрос создавать уже исходя из этого.

[Евгений]

Как временное решение могу только посоветовать создать для картинок ресайз заранее, чтобы не перекладывать это на пользователя во время хита.
Сделайте пошаговый скрипт и пусть ресайзит все что нужно, метод ресайза в битриксе CFile::ResizeImageGet.
А потом уже разбираться с проблемой.
А далее создаете скрипт отдельный с подключением только ядра битрикса отключив константами предопределенными все лишнее (статистику, агенты и тд) и вызывающий только этот метод. Ну а на нем уже профилированием или strace искать "узкое" место.

[brar]

Евгений, я сейчас это все на тестовой копии прода делаю. Откатываю, так сказать, сценарий в оптимального безкостыльного решения.

[Александр Маджугин]

armodim, вот же вам и ответ:

Все картинки в png, но в resize_cache они создаются в jpg

Вы еще попробуйте png в Pdf встроить и пожалуйтесь потом на плохую производительность...
Это gd - она хренова работает с png и всегда хренова с ним работала. Да еще у вас вомзожно и фотки в png - тут вообще полный швах.

[brar]

Александр Маджугин, Вы предлагаете переконвертить весь iblock в jpg?
Не совсем понятно.
А если переконвертить в webp? Ресайз опять будет все переделывать в jpg?

[Александр Маджугин]

предлагаете переконвертить весь iblock в jpg?

Оно и так сконвертило вам все в jpg ;)

Не совсем понятно.

Я предлагаю не заливать вам фотки в png. Какая больная фантазия вообще придумала такое?
А если это не фотки, то ненужно их ресайзить средствами php - сразу лейте в нужном размере.

А если переконвертить в webp?

Я против некрофилия даже если покойный покинул мир в юном возрасте.

Ресайз опять будет все переделывать в jpg?

Естественно.

[brar]

Оно и так сконвертило вам все в jpg ;)

Я правильно понимаю, что если даже кладем фотку в админке в png, то при первом вызове странцы, битра конвертит этот файл в jpg, сохраняет файл в iblock, потом ресайзит его и кладет в каталог resize_cache?

Какая больная фантазия вообще придумала такое?

Пусть будет - моя. Исключительно потому, что везде это рекомендят.

То есть, битрикс работает исключительно в jpg?

Я против некрофилия даже если покойный покинул мир в юном возрасте.

Я не дизайнер, но в webp картинка в три раза меньше, а по качеству не сильно теряет (если говорить об инетмагазе, где особо не нужно изучать нитки на одежде (грубо говоря).

[Александр Маджугин]

Я правильно понимаю, что если даже кладем фотку в админке в png, то при первом вызове странцы, битра конвертит этот файл в jpg, сохраняет файл в iblock, потом ресайзит его и кладет в каталог resize_cache?

Нет. Если вы добавите фотку в png - она будет выводится в png. И в iblock она будет встроена как в png.
Если потому вы в шаблоне захотите использовать resize_cache и выводить, то да - в resize_cache уже упадет jpg. Но все это будет уже на вашей совести. Причем тут битра?

Пусть будет - моя. Исключительно потому, что везде это рекомендят.

Хорошо что в bmp не рекомендуют...
Не слушайте такие глупые рекомендации. Никогда не сохраняйте изображения с большим количеством градиентов в png. Запомните правило - в png рисунки, фотки - в jpg.

То есть, битрикс работает исключительно в jpg?

Смотря что вы имеет ввиду под "работает".

Я не дизайнер, но в webp картинка в три раза меньше,

В jpg она будет еще меньше.

а по качеству не сильно теряет

Да он и в jpeg не сильно теряет - никто не будет рассматривать у вас на сайте артефакты jpeg.

Я не против webp - хороший формат. Но не прижился же.
В теории GD работает c webp, но все равно если вы используте ресайз в шаблоне - конвертнет в jpeg.
Тут либо готовьте картинки заранее и не используйте ресайз налету, либо используте для ресайза свое решение.

[brar]

Александр Маджугин, Спасибо!