Как максимально ускорить скорость работы сайта?

Question

[Ilia Malashko]

Здравствуйте.

Вопрос обширный, я не прошу что бы вы мне дали все ответы, рассчитываю скорее на общий ликбез и на то что мне объясните к какую сторону смотреть.

У нас интернет-магазин женской одежды крутится на 1с-Битрикс (прошу не писать, что нужно менять фреймворк) товаров около 8000, посетителей в день около 700.
Проблема в том что сайт работает очень медленно.
По бекэнду:

• Сервер считаю шустрый:
  Процессор: Intel® Xeon® E3-1270 v3
  Оперативная память: 16GB
  Жесткие диски: SSD
  
• На сервере nginx+apache, пробовали nginx+php-fpm особого ускорения не получили, вернулись на apache
  
• Все что можно кешируются, работает композитный сайт
  
• Таблицы все проиндексированны. При тестировании скорость ответа от mysql быстрая
  
• Все что можно кешируются, работает композитный сайт
  

По фронтэнду:

• Изображения сконвектированны в webp и настроена ленивая загрузка
  
• Частично удален неиспользуемый js и css. Весь js и css сжат и объединен средствами Битрикс, что можно подгружаем отложенно
  
• Минимизировано подключение к внешним источникам. Остались Яндекс.Метрика, Google Analytics, Roistat и RetailRocket, маркетологи уперлись, на дают их удалять
  

Проведенные работы немного ускорили работу сайта, но все равно он работает очень медленно.
Как на эталон смотрим на сайт wildberries, смотрим и восхищаемся скоростью загрузки странице. В каталоге страница загружается моментально в Network видно контент отдается моментально:

Такой скоросте мы не можем обеспечить даже на главной странице где нет товаров, про каталог я молчу, там счет идет на секунды:


Как можно приблизиться к показателям wildberries? Как они достигают таких результатов?

/* ------------------------- */
Спасибо всем за отклик. К сожалению в ближайшие дни нет возможности воспользоваться вашими советами, со следующей недели начну вникать в то что вы понаписали.
Отвечу тут всем по вопросам в комментариях.

• Сайт: wisell.ru
  
• Версия PHP: 7.1
  
• htop показывает что сервер вообще не напрягается в бОльшее время работы, LA не превышает 2
  
• Mysql хватает памяти
  

Сайт старый, работало много разных специалистов, каждый оставил свои костыли, так что в первую очередь займусь отладкой php

Comments

[Максим Федоров]

нас интернет-магазин женской одежды крутится на 1с-Битрикс

Прости, сам вляпался в такую работу, меси

[BATPYIIIKOB]

1. Что показывает «Монитор производительности» 1С-Битрикс (модуль)?
2. Какую версию PHP используете?
3. Настройки → Производительность → Индексы → Анализ индексов. Выполнить анализ собранных SQL запросов. - Должны быть зелёные.
4. Может есть неиспользуемые модули? Отключите.

[BATPYIIIKOB]

Вот неплохая статейка, обрати внимание на ОШИБКИ РАЗРАБОТКИ, КОТОРЫЕ ТОРМОЗЯТ САЙТ НА БИТРИКС
https://molotok.studio/blog/uskorenie-sayta-na-bit...

[Лев Забудкин]

переходите на php7.1/7.2

[smilingcheater]

По второму скрину - долгий ответ сервера. Для начала надо найти что именно тормозит. Скорее всегог это будет какой-то компонент битрикса. Включите на этой странице битриксовую отладку (под Админом открыть страницу, в верхней панели Эрмитажа выбрать Отладка - Суммарная статистика), в выведенном в конце странице блоке отладки посмотреть на что именно тратится время при генерации страницы.

[PrAw]

Меня смущает, что почти треть времени отдача контента.
1. ваш сайт один на сервере?
2. никто канал не забивает?

[yarnstart]

PrAw, это же битрикс, слава богу, что вообще работает

[Ilia Malashko]

PrAw, на сервере основной сайт + тестовый, и лендинг. Тестовый и лендиг практически без нагрузки.

[smilingcheater]

PrAw, насколько я вижу - там очень большой html отдаётся, код страницы весит больше 1мб

[xfg]

smilingcheater, html страницы это да, 1.2 мб против 400 кб у эталона, но там еще и TTFB 640-700 ms у автора против 40-70 ms у эталона. Посмотрел другие битрикс каталоги и все примерно с таким ttfb и отдаются. Соответственно проблема вероятнее всего с кодом битрикса. Никому неизвестно сколько всего там вычисляется прежде чем результат будет передан веб-серверу. Нужно распутывать километры спагетти-кода чтобы разобраться что там понаписали разработчики этого решения, но проще забить.

[DeLighter]

Оставьте ссылку на ваш сайт

[Ilia Malashko]

wisell.ru
Добавил описание в тему.

[DeLighter]

Самый главный косяк на главной - это то, что изображения выводятся не подогнанными под размер контейнера. В результате некоторые из них грузятся из !кеша в районе секунды.
В Google Page Speed эта ошибка в ТОПе, странно, что вы её первым делом не исправили.
Исправляется она с помощью функции ResizeImageGet.
Также, не все изображения у вас сконвертированы в .webp. Можете попробовать воспользоваться соответствующими модулями для этого. Либо, как вариант - вместо .webp можно оптимизировать .jpg/.png (как на wildberries).

[Ilia Malashko]

DeLighter, функция ResizeImageGet присутствует, для десктопов размер правильный отдает 1400*550, но че то не работает MobileDetect:isMobile для телефонов. Видимо свежие картинки залили по крону сконвентируются в webp

[VegasChickiChicki]

Ilia Malashko, Что там отдается в 1440 на 550? Там на главной фотки по 1.2мб размером под 5000 на 5000.... В контейнере в 1\10 экрана....

[VegasChickiChicki]

Ilia Malashko, 544 x 272 контейнер ---> 5644 x 3456 размер фото

[Андрей Михалёв]

Статика долго грузятся! Похоже что криво настроен веб-сервер, т.к. похоже что именно apache выдает мне статику, для nginx - уж слишком большие значения. Зря не стали докручивать php-fpm. Ну и скорее всего настройки mysql подкрутить нужно. Есть графики заббикса по нагрузке?

Answer 1

[Антон]

Автор, в данном случае требуется комплексный подход
1. На маркете Битрикса есть пару модулей, которые адаптируют ваши картинки
2. Работа с CSS. Это оптимизация - минимизация и объединение стилей
3. Тоже Js
4. Далее по шаблонам - нужно пересмотреть код, возможно одни куски должны быть выше-ниже или убраны вообще.
5. Скрипты метрики и т.п. нужно подгружать со своего сервера, обновляю их по крону
6. Шрифты - тоже грузить со своего сервера, внести правки в css (CSS font-display)
7. Использовать серверное сжатие и кэш. Сократить запросы к базе. Компоненты если кэшируются не должны делать запросов.
8. CDN не всегда идёт на пользу
9. Общее количество элементов DOM можно сократить убрав в верстке лишние div ки и прочие элементы

В целом, вам pagespeed сам подсказывает что нужно сделать - гуглите каждый пункт.
Естественно, что на стороне cms у вас всё должно соответствовать нормам - т.е. внутренние тесты должны отрабатывать на отлично.

Средний Интернет-магазин на Битриксе можно довести до 95 попугаев. В мобильной верстке и вовсе до 100.

Answer 2

[Андрей Забиронин]

Прежде всего, хотелось бы отметить, что данные которые вы показываете на скриншотах (Network) не актуальные, все ресурсы на них закешированы (memory cache/disk cache).
Актуальные данные по таймингам вы увидите если обновите страницу через CTRL+SHIFT+R (это сброс кеша на вкладке).
Без этого пока видно что вся статика, что у вас, что у них грузится за 0ms, некоторые ваши ресурсы с disk cache за 15+ms.

Проверил что у вас там. Ответ от сервера 200/300+ мс. Не так критично как вы пишите, даже в каталоге, но не так как могло бы быть.

По существу.
"Сайт старый, работало много разных специалистов, каждый оставил свои костыли" - вот из-за этого.

По серверу: не хватает http/2 протокол + 304 заголовок где возможно (получится не везде https://last-modified.com/ru/), TLSv1.3

Варианты по коду:
1. Вариант - ставьте чистый обновленный битрикс и перепишите все сами без костылей.
2. Вариант, не тривиальный - унесите cms на поддомен (admin.*, к примеру), а фронтенд перепишите каком-нибудь легковесном frameworke где есть быстрый кеш. Перепишите классы работы с товарами (корзина/заказ), авторизацию, и подключайте к БД вашей cmsки. Потребуется знать архитектуру конкретной cms, много времени и печенек.

И я подозреваю что у wildberries сервак все равно помощнее.

Answer 3

[xmoonlight]

Вариантов не много:
1. Разобраться с кешированием (везде!)
2. Разобраться с утилизацией модулей битрикса.
3. Отключить лишние обработчики в apache для статического контента.
4. Проверить везде актуальность версий хостинг-окружения и всего установленного ПО: cms, её модулей и т.д.
5. Создать правильную асинхронную отложенную загрузку всего фронт-контента.

Answer 4

[Gip]

8000 товаров и 700 посетителей) с таким мой телефон справляться должен без проблем, а не

Процессор: Intel® Xeon® E3-1270 v3
Оперативная память: 16GB
Жесткие диски: SSD

о каком wildberries вообще тут речь.
что-то битрикс совсем плох стал.

Comments

[Максим Федоров]

я давно конечно слышал об этом, но вроде говорили что из коробки он на главной 100+ запросов в БД делает :)
представляю что будет, если ломастеры напихают туда всякого

[VegasChickiChicki]

Я конечно не эксперт в серверах, но...

Intel® Xeon® E3-1270 v3

Год назад на али брал процессор, серверный(для повседневного использования) - 10к рублей.

[asd111]

Максим Федоров, в битриксе считается нормой 30-50 запросов к БД на одной странице без кэша https://dev.1c-bitrix.ru/community/webdev/group/10...

Answer 5

[Ainur Shakirov]

Включите отладку:


И увидите сколько времени занимает каждый компонент. Ищите долгие и разбирайтесь с ними индивидуально.

Comments

[Ilia Malashko]

Да, включал эту статистику все компоненты занимаю по 0.001 - 0,25 с. За исключением bitrix.catalog, но мне бы сначала добиться быстрой загрузки на главной, где нет bitrix.catalog, а потом уже полезу в него.

[smilingcheater]

Ilia Malashko, 0.25с для компонента (если это не bitrix:catalog) - это уже очень много

Answer 6

[Сергей Горностаев]

Шаг первый: Избавиться от битрикса.
Шаг второй: PROFIT!

Answer 7

[Андрей Федоров]

Скрипты метрики и аналитики можно использовать локально, если обновлять их ежесуточно по крону.

Comments

[VStepankov]

Автора это никак не спасёт.
У него бек отрабатывает адски долго

[Андрей Федоров]

VStepankov, вы недооцениваете как у Я и Г бэк адски долго. )))

[VStepankov]

Андрей Федоров, мне достаточно было прочитать вопрос и посмотреть скрины, до оптимизации метрики автор дойдёт очень не скоро

[DeLighter]

VStepankov, если у автора работает композит, как он сказал, то страница отдается уже готовая и бэк не исполняется.

Answer 8

[Андрей Рязанцев]

Переводить каталог на ElasticSearch. Рефакторить код. Подключить php 7+. Передать часть отрисовки страницы на сторону клиента.

Comments

[PrAw]

8000 товаров? Специально обученные бабушки способны справляться с такой задачей за секунды, а тут полноценный сервер

Answer 9

[Виктор Таран]

зависит как от сборки сайта так и от интерфейса так и от настроек сервера.
дай для начала сам сайт.

Comments

[Ilia Malashko]

wisell.ru
Добавил описание в тему.

[Виктор Таран]

1. jpegoptim - https://klondike-studio.ru/blog/optimizatsiya-kart...
2. http2 может работать лучше, сейчас под него попадает мало контента.
3. Реально снизить нагрузку может тольк то что у тебя идет большая часть времери выборка с бд
а) включить кешировать все что только можно, сколько сейчас некешируемых хитов в каких компанентах?
б) производительность сайта сейчас сколько попугаев.
в) Почитай тут я писал что больше всего влияет на скорость https://klondike-studio.ru/standards/trebovaniya-k...
г) opcache
д) 7.3 приблизительно на 18% быстрее
Потом пойдем дальше

Answer 10

[yaBliznyk]

Смотри htop, на сколько нагружен сервер.
Opcache должен быть включен и настроен
Версия php какая?
Mysql хватает памяти для работы? Если запросы отрабатывают быстро в ручном режиме, то ищи затык в php

Comments

[Ilia Malashko]

Добавил описание в тему.
Сайт старый, работало много разных специалистов, каждый оставил свои костыли, так что будем искать затыки в php