Нужен оптимальный robot.txt для поисковых систем Google и Yandex, в сети много информации, поэтому не могу выбрать чей то конкретный вариант, так как много споров в комментариях.
Хотите чтобы и тут были такие же споры? =) Я использую стандартный robots.txt, а запрещаю уже через