Как настроить файл robots.txt под сайт php?

Question

Arch-Linux @Arch-Linux

Как настроить файл robots.txt под сайт php?

Здравствуйте, вот я уже больше недели решаю эту проблему с robots.txt то проблему решается то она и появляется-а иногда вообще не решается User-agent: *
Disallow: /css
Disallow: /js
Disallow: /42813461165351.php
Disallow: /registrazione.html
Disallow: /igea
Disallow: /04
Allow: /ru
Allow: /en
Allow: /es
Allow: /de
Allow: /fr
Allow: /it
Allow: /jp
Allow: /cn

User-agent: Yandex
Disallow: /css
Disallow: /js
Disallow: /42813461165351.php
Disallow: /registrazione.html
Disallow: /igea
Disallow: /04
Allow: /ru
Allow: /en
Allow: /es
Allow: /de
Allow: /fr
Allow: /it
Allow: /jp
Allow: /cn

Host: jeunesse-global.club

User-agent: Googlebot
Allow: /ru
Allow: /en
Allow: /es
Allow: /de
Allow: /fr
Allow: /it
Allow: /jp
Allow: /cn я уже всё что смог сделать для решение проблем но так и не решается ------вот а то одному человеку нужно чтоб все сайты отображались на всех языках в поисковике в том числе и основная ссылка начинаю с / -конечно я не буду делать скрин сразу скину ссылку site:www.jeunesse-global.club, вот щас на данном моменте проблему немного решил, вот когда я убрал код в файле en.php который меняет язык по браузеру, то после этого снялось ограничение ссылки, в файле index.php,и я думаю что ограничения появляется из за одного кода который делает переадресацию на другой файл, вот щас есть один код который прописан в основной файл / а точно не знаю что за файл и где он-но вот сам код этого файла который обнаружил сайт www.google.com/webmasters/ joxi.ru/nAyXq46uLWlY2Z.png, по закону google -не должны быть ссылки в поисковике которые делают передресацию на другие страницу, вот если я поставлю стандартный код в robots.txt User-agent: *
Disallow: /css
Disallow: /font
Disallow: /js

User-agent: Yandex
Disallow: /css
Disallow: /font
Disallow: /js

Host: jeunesse-global.club то после этого когда будут индексировать все ссылки и даже не рабочие ссылки, да и на сколько я помню-только после этого кода не которые ссылки стали попадать в ограничение это в первый раз когда я создал файл robots.txt и прописал этот код --

joxi.ru/82Q7Y64ikZalrd.png joxi.ru/L21j0PJIQW3nAX.png я уже всё перепробовал и так делал и по другому делал, и все равно получается как на этом скриншоте
joxi.ru/1A59zPJC3E0MAE.png