Htaccess — что считается дублями?

Question

[tenaro]

сайт на 5 страниц без cms.
обрезал ".php" у страниц через htaccess.
теперь все страницы доступны по двум адресам
- site.ru/cat
- site.ru/cat.php

это считается дублем? что в таком случае писать в robots.txt ?

Answer 1

[Natan]

@tenaro В этом случае Вам не robots.txt нужен, а прописать для каждой страницы каноническую ссылку:
<link rel="canonical" href="http://site.ru/cat"/>

Comments

[Natan]

В коде страницы

[tenaro]

то-есть канонические ссылки полностью решают проблему дублей и поисковики учитывают только тот адрес который там указан? если у меня будет по 100 дублей на каждую статью, но в ней будет прописана эта ссылка, я что, не попаду под фильтр?

[Natan]

@tenaro Если на каждой странице прописан canonical, то не должны. Но это не строгая директива и поисковики ее могут игнорить, если канонический адрес ссылается на другой домен или страница по ссылке не доступна. Какой Вам смысл делать по 100 дублей? Поисковики не любят дубли, указание канонических ссылок просто помогает им понять какую из страниц стоит показать в поиске.

Answer 2

[Константин Андреевич]

Вы можете закрыть в robots все .php файлы:
Disallow: *.php

Но делать это следует только в том случае, если у вас нет никаких .php страниц, которые должны быть в индексе.

Можно ещё сделать с помощью .htaccess редирект со всех name.php на name (т.е. редирект с урлом с расширением на урл без расширения). Это легко гуглится.

Comments

[tenaro]

у меня все страницы с расширением php, они должны быть в индексе. вопрос скорее теоретический - как htaccess обрезает расширение, и считается ли это дублем вообще (если доступно и так и так)

[Константин Андреевич]

@tenaro вообще, если ссылок специально на .php не делать, то и в индекс они не попадут.

[tenaro]

а если ссылки такие , они должны индексироваться, но в url хочется избавиться от .php такое можно сделать?

[Константин Андреевич]

@tenaro я имел ввиду, если вы будете везде использовать только site.ru/page , а не site.ru/page.php, то поисковые системы не проиндексируют /page.php, а проиндексируют только /page.

А чтобы полностью избавиться от .php сделайте 301 редирект.

И вообще, самым лучшем решением будет отказаться от использования .php скриптов в пользу ЧПУ :) Единая точка входа в приложение намного удобней.