Все просто, Гугл использует порядка 10 различных движков для различных кейсов. И все они ведут себя странно с большими скриптами (где-то даже пробегало то, что движок ждёт порядка 10 секунд и если скрипт не заканчивает работу то тупо его прибивает) Вот тат, например написано что они типа апнули гуглбот до 41 версии
https://www.google.com/amp/s/searchengineland.com/...
Это конечно хорошо....но во первых везде ли ?)
А во вторых, crawler не любит по прежнему когда страница "дорендивается" после загрузки. Это беда большинства популярных фреймворков и ошибка всех начинающих программеров, которые изучив какой нибудь фреймворк, типа react, Vue и пр. Начинают бацать сайты и потом вдруг оказывается что страница не кэшируется поисковиком...и тут они начинают разводит руками и жевать сопли.