Странный robots.txt, что с этим делать?

Question

[Resize]

Доброго времени суток, форумчане.
Сегодня, на одном сайте, увидел такие строчки в robots.txt:
User-agent: *
Disallow: /
Allow: /$
Allow: /ua/$
Allow: /en/$
На сколько я понимаю "User-agent: * | Disallow: /" запрещает сайт для индексации как Гуглу так и Яндексу, но строчки "Allow: /$ | Allow: /ua/$ | Allow: /en/$" разрешают индексировать главную страницу на 3 языках. На сколько это профессиональное решение или это больше на чушь похоже?
Просто для меня такие строки являются непонятными, если кто-то может помочь и объяснить, буду благодарен.

Answer 1

[Андрей Куртучкин]

Если все полезные страницы доступны для поисковиков, а все бесполезные нет, то это правильный robots.txt. Проверить доступны ли страницы можно через инструменты проверки в вебмастерах Google и Яндекс.

Comments

[Resize]

Спасибо добрый человек.

Answer 2

[Пума Тайланд]

Ну ровным счётом зависит от того какая у вас задача стоит

Comments

[Resize]

Можно более конкретно расписать?

[Пума Тайланд]

Resize, это вы должны конкретно расписать для чего написан этот роботс, если вам нужно все индексировать, можете просто его удалить

[Resize]

Пума Тайланд, нет, индексировать все не нужно, но вопрос стоит в том профессионально ли это написано или больше на чушь похоже?

[zooks]

Resize, В Яндекс.Вебмастере выбираете: Инструменты - Анализ robots.txt
И там смотрите как отрабатывают правила.