Как решить большую нагрузку WordPress поисковыми ботами? Слабый хостинг?

Question

[Александр]

Сайт на WordPress 4.6 c всего около 500 униками в день. До 10 плагинов по делу. Так же WP Super Cache включен.
По Google PageSpeed Insights время ответа сервера - 1.3 секунды, иногда меньше. Причина в WordPress или в хостинге?
Судя по логам, сайт очень активно сканируется поисковыми ботами (в основном Гуглом), притом заходы с ключевыми запросами после ? в адресе (сканируется, возможно, ибо активно через AdWords лью траффик по многим ключевикам). Для бота с разными запросами, как понимаю, плагин кеширования не особо помагает, или как? И из-за этого и сервер так долго ответ дает?

Answer 1

[WQP]

WP очень медленный. Прочитайте https://habrahabr.ru/post/132817/ а вообще давно уже переезжать на php 7.0 - 7.1

Comments

[Александр]

Спасибо, почитаю. А тот же Битрикс быстрее, может имели дело? Интересны конкуренты WP, которые быстрее.

[WQP]

Александр: CMS все медленные. Если хотите быстрой загрузки, то переходите на фреймворки. Битрикс это вообще свалка неструктурированного кода

[WQP]

legend_soft: я не спорю. Но его нужно оптимизировать очень долго.

[Александр]

legend_soft: оптимизировать - собственно код темы, плагинов, или в основном речь про внутренности WP?

[WQP]

Александр: про оптимизацию темы, плагинов, сервера.

[Игорь Воротнёв]

Ага, пипец какой медленный take.ms/a2MXI

[Евгений]

WordPress достаточно шустрая CMS, если не использовать готовые темы и кривые плагины, а писать свои и под свои нужды.
Готовые темы - это зачастую основной "тормоз" wordpress, (ИМХО) из-за чего и появилось мнение о его медлительности.
Связка Nginx+PHP7-FPM, в качестве БД использовать MariaDB (ну или как минимум MySQL 5.7). Также отказаться от использования shared-хостингов и перейти на VPS.

Answer 2

[Евгений]

Я прибил у себя ботов(в разы снизил нагрузку) так: в .htaccess
#kill bots
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} python-requests
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} ltx71
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru
RewriteRule (.*) - [F,L]

Если вас заваливают яндекс и гугл, то однозначно по рецепту VVB копать с профайлером. Если переедете на VPS, то через команду top будет понятно у вас перегруз по запросам к БД или слишком много одновременных заходов.

Answer 3

[VVB]

1) Посмотрите WP профайлером ваши узкие места. Вероятно какойто плагин не дает нормально работать системе.
2) Для того чтобы убедитсья что проблема не с хостером а с WP, залейте статическую страницу на хостинг и проверьте ее PageSpeed Insight. Так вы исключите WP из проверки и поймете где проблема
3) Если акстивно карулится ботами, используйте Crawl-delay: в файле robots.txt
4) WP хорошо кеширует статику, с магазинами все сложнее. Если сайт обычный статейник, то не должно возникать вопросов.
Как вариант обратите внимание включены ли у вас в htaccess или nginx.conf настройки :
-leverage brower caching
-gzip (deflate)
-правильно ли оптимизированы изображения(рекомендую tinypng для jpg и png файлов)
5) Ну и как вариант попробуйте на время отключить плагины для того чтобы определить тонкие места

Comments

[Александр]

1. Проверю.
2. Одностраничные html сайты, где не требуется php для генерации страницы, никогда не показывали проблему с временем ответа сервера по PageSpeed Insight.
3. Спасибо, но, опасаюсь, что нежелательно запрещать ботам Гугла индексировать, тем более, что лью траффик с AdWords (и по этим же запросам индексация).
4. Не совсем статейник, но информация не редактируется, поэтому больше статейник, чем магазин. Картинки сжимаю, по остальному - проверю.
5. Да, спасибо, займусь.

[VVB]

3. Это не запрет на краул, это информация краулерам о том что есть необходимо делать паузы, дабы не нагружать сервер. Мне кажется вам это должно помоч.
4. Попробуйте альтернытивны плагины кеширования например тот же Total Cache.

[Александр]

Есть тестовый сайт и рабочий. Идентичные, тот же хостинг. Попробовал другой плагин кеширования - W3 Total Cache. На тестовом никаких проблем с скоростью ответа сервера. На рабочем - непрерывное сканирование ботом Google AdsBot, с разными ключевиками, отчего время ответа сервера 1.3 сек по PageSpeed Insight. Получается, либо хостинг мощнее нужно, либо ограничить в Гугл Вебмастер скорость сканирования ботом гугла? Других причин не вижу...

[Александр]

С W3 Total Cache даже сайт лег через какое-то время. Вернул на WP Super Cache