Виктор Петров

Если речь про поведенческих ботов - то тут проверенная связка CloudFlare + Antibot. Никакими плагинами вы с проблемой не справитесь, поскольку всё упирается в невозможность полноценно выявлять ботов.
Можно, конечно, заблокировать переходы из ненужных стран, подсетей и т.п., но практика показывает, что вы таким образом неизбежно блокнете и живую целевую аудиторию.
Проблема характерна для любого сайта в топах, где жив трафик, практически все решают её с помощью CF.

А зачем убирать?
Это, в общем-то, опция безопасности, закрывающая одну старую матерую дырку.

Почитайте справку Гугла про софт-404. Очевидно, что сервер отдаёт роботу не совсем то, что отдаст нормальному живому человеку. Когда вы в браузере получаете нормальную страницу, робот может получить обломок.
Если же речь о реальных 404 – то и здесь стоит оценить системные ресурсы и настройки парсинга. Вероятно, сервер просто не вывозит нагрузки.

"Дырок" основных не так много.
а) Если речь о виртуальном хостинге – то это первая вероятная дырка. Через шелл или БД.
б) "Нулленый" шаблон или просто кривой шаблон. Их краулерами обнаруживают те, кто знает об уязвимости или сам "закладочку" вкрячил.
в) Плагины.
Попробуйте Wordfence установить. Как минимум, "закладки" в плагинах и шаблонах он находит. А на сайте у них информации по уязвимостям и проблемным шаблонам/плагинам - море. Я бы с этого начал.

Сколько путаницы.
Чтобы деиндексировать сайт, правильнее всего всем страницам присвоить мета "robots" со значением noindex.
Мгновенного результата это не даст. Впрочем, мгновенного результата это не даст при любом способе.
В robots.txt вы прописываете запрет на сканирование - что вовсе не равнозначно запрету на индексирование. В выдаче достаточно сайтов, сниппеты с которых не выводятся: скачивать странички запрещено директивами robots.txt. А ссылки в выдаче - есть. И даже в топах. Потому что даже если там есть мета с запретом на индексирование, ПС об этом узнать не могут - поскольку сканировать/скачивать страницу им нельзя.
Помимо мета рекомендую воспользоваться инструментарием Яндекс-Вебмастер и Search Console. Там есть инструменты, позволяющие напрямую запросить удаление из индекса ненужного контента.

И имейте в виду, что все эти меры в принципе ничего не гарантируют. Это лишь пожелания, не приказы. А тот же гуглобот по деиндексированным и удаленным URL может потом ходить годами. Зачем – не знаю.

Процедуры-то стандартные.
Мелочёвку можно и на проде править чаще всего. А для редизайна - на копии, где-нибудь на техническом домене. Чтобы всё уронить по такой схеме - постараться надо.

Не факт, вообще не факт.
Яндекс с февраля колбасить начало, апдейты ежедневно и чаще. Судя по динамике, что-то регулярно пересчитывается, и сайт подрастает. А потом пересчитывается другая группа метрик, и сайт валится. Например, у страниц высокая текстовая/коммерческая релевантность, но недостаток поведенческих. Или ровно наоборот.
То, что Гугл идёт ровно - ни о чем не говорит. Там всё вообще очень медленно, а если сайт в принципе там позиций не имеет – то тем более.
Задайте своим подрядчикам по SEO прямой вопрос: в чем проблема, с чем связаны скачки. Для старта - оптимальный вариант. Если внятно не ответят – ищите стороннего аудитора.

Любой популярный плагин для SEO под WP позволяет шаблонизировать мета для каждой таксономии. Обычно речь про подстановку заголовка плюс что-то по выбранным шаблончикам. Это в настройках плагина надо смотреть. Для примера - RankMath. В других тоже такое есть.

Возьмите для анализа любое готовое решение. "Сотбит SEO умного фильтра" - как образец, старый и работающий.

Вы позиции-то мониторите? Характер трафика? Запросы, посадки?
Яндекс мог подкинуть вас в топы по каким-то ключам на время. На вас мог литься траф, связанный с нагулом ботов. Много чего могло быть, данных вы не предоставили для выводов.

Странный вопрос.
Нейросеть способна обработать такой объём данных, который никакой человек обработать физически не в состоянии. Если вам нужны найти скрытые связи, из монолита вычленить скульптуру, вообще работать с данными - тут нейросеть незаменима.
То, о чём вы говорите - это крайне попсовое и глупое применение мощнейшего инструмента. И этот инструмент в доступе уже лет примерно 20. Просто кожаным показали самые примитивные возможности - и этого хватило, чтобы массы забились в оргазме и ужасе.

Ключевое слово тут - фингерпринты. Просто менять IP и UA бывает сильно недостаточно, если ресурс подразумевает хоть какую-то защиту.

Дебажить надо, чтобы понять, откуда тормоза. Причин-то может быть тонна:

• нехватка ресурсов сервера и его физическое расположение
  
• неоптимизированная БД
  
• избыток запросов
  
• кривая CDN
  
• проблемы с DNS
  

и много чего ещё.

Я так понимаю, что целевая поисковая система – Гугл. И если так, то программиста надо как-то осадить.
Структура многоязычного сайта должна использовать hreflang. Вот у вас основной, дефолтный домен - на украинском. У него есть вспомогательные языковые версии - русская и английская. И вы просто метатегом указываете поисковой системе, что у странички есть альтернативные версии на других языках. Соответственно, в поиске гугл и будет показывать страницу, соответствующую языку запроса и определенной локации. Вы таким образом просто подклеиваете языковые разделы к основному домену, к главной странице – самой весомой странице сайта.
Клеить домен к папкам - это, конечно, сильная идея. Прогерам стоит вообще запретить трогать редиректы без разрешения и чёткого ТЗ, это каждый раз настоящая авария.

Перед оптимизацией стоит проверить, что с этого новостника вообще в индексе и приносит реальный траф. Мусор непосещаемый на пользу в любом случае не пойдёт, так что есть смысл подумать - не стоит ли выраженное старьё и "зомби"-странички перенести в архив - может быть, просто на уровне фида без всяких медиа. Тем более, что картинки там обычно случайные, а смотреть протухшие видосики смотреть явно мало кому интересно.

Вообще говоря, народ в основном переехал на RankMath - всё то же самое, что AiOS и Yoast, только бесплатно и поболе в бесплатной версии.
Yoast с его бесконечными апдейтами и кучей мусора в коде я бы не порекомендовал. Ну жесть же: ставить плагин, который вырезает спамные комментарии Yoast из кода. А приходится.
Структура и архитектура WP сама по себе такова, что без тормозов, грязи в коде и тоннами запросов к БД иначе и не бывает. В принципе - это терпимо.
Если вы хотите уходить с AiOSP - ну, попробуйте Rank Math. Он даже настройки от старого плагина подхватывает, переход чаще всего абсолютно бесшовный и беспроблемный. Однако особого смысла в этом нет, там нет ничего принципиально отличающегося. Чуть пошустрее, чуть полегче, чуть подобрее. Не более.
И в целом: скорость загрузки - это, конечно, фактор, но слишком уж малый, чтобы ради его всерьёз перепиливать рабочий стафф.

Ну так под блок в адаптив css то есть? Там судя по всему дефолтные размеры трамбуются - и всё.

Всё, что не относится к формированию шаблона, и не представляет собой ценности как источник поискового трафика, нужно закрывать от индексирования. Есть поисковый спрос - отдайте в индекс. Нету - закрывайте от роботов.
Закрывать достаточно через robots.txt. В Yoast вы можете прописать мета robots с директивой noindex - но в данном случае это совсем не то, поскольку Яндекс не отличает пока сканирование от индексирования, для него это одно и то же, и при таком подходе вы будете постоянно сталкиваться с "колбасой" в индексе, кучей ошибок и скачками в ранжировании.