User-agent: *
Disallow: /js/
Disallow: /css/
Disallow: /fonts/
Sitemap: https://site/sitemap.xml
User-agent: *
Disallow: /
Allow: /index.html
Allow: /en/index.html
Sitemap: https://site/sitemap.xml
А новая версия более безопасна?
Тяжелые ресурсы просто не отдаете на мобильные и все
https://canwas.ru/blog/proekty/30-primerov-robots-txt/