Как убрать дубли на конце Url?

Question

[krispey]

Из-за бага, появились дубли страниц по типу:

www.site.ru/-->
www.site.ru/<!--/
www.site.ru/<--
www.site.ru/--><!--/--><!--/--><!--/--/--><!--/

Что можно придумать чтобы убрать такие дубликаты? (редирект на www.site.ru)

Comments

[Sand]

покажите правила

[krispey]

Sand,

Options -Indexes
ErrorDocument 404 /404.php

<IfModule mod_php5.c>
	php_flag allow_call_time_pass_reference 1
	php_flag session.use_trans_sid off

	#php_value display_errors 1

	php_value mbstring.func_overload 0

	#php_value mbstring.internal_encoding UTF-8
</IfModule>

<IfModule mod_rewrite.c>
	Options +FollowSymLinks
	RewriteEngine On

		RewriteCond %{HTTPS} off
		RewriteCond %{HTTP:X-Forwarded-Proto} !https
		RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]

    RewriteCond %{HTTP_HOST} ^([^www].*)$
    RewriteRule ^(.*)$ https://www.%1/$1 [L,R=301]

    #склейка index.php
    RewriteCond %{THE_REQUEST} ^.*/index\.php
    RewriteRule ^(.*)index.php$ https://%{HTTP_HOST}/$1 [R=301,L]
    #редирект с знаком ? на конце url на без
    RewriteCond %{THE_REQUEST} "^\S+ /[^?]*\? "
    RewriteRule .* /$0? [R=301,L]

	RewriteCond %{REQUEST_FILENAME} !-f
	RewriteCond %{REQUEST_URI} !\..{1,10}$
	RewriteCond %{REQUEST_URI} !(.*)/$
	RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1/ [L,R=301]

	RewriteCond %{REQUEST_FILENAME} !-f
	RewriteCond %{REQUEST_FILENAME} !-l
	RewriteCond %{REQUEST_FILENAME} !-d
	RewriteCond %{REQUEST_FILENAME} !/bitrix/urlrewrite.php$
	RewriteRule ^(.*)$ /bitrix/urlrewrite.php [L]
	RewriteRule .* - [E=REMOTE_USER:%{HTTP:Authorization}]
</IfModule>

<IfModule mod_dir.c>
	DirectoryIndex index.php index.html
</IfModule>

<IfModule mod_expires.c>
	ExpiresActive on
	ExpiresByType image/jpeg "access plus 3 day"
	ExpiresByType image/gif "access plus 3 day"
</IfModule>

#автогенератор sitemap
#для русской версии сайта
<IfModule mod_rewrite.c>
	Options +FollowSymLinks
	RewriteEngine On

	#Доступ карты сайта с sitemap.xml на sitemap.php
	RewriteRule ^sitemap\.xml$ sitemap\.php [L]
	RewriteRule ^en/sitemap\.xml$ /en/sitemap.php [L]
</IfModule>

[wisgest]

Из-за бага, появились дубли страниц

Почему это вас беспокоит: на дубли откуда-то есть ссылки?
Исправьте баг и не будет дублей, а не городите костыли.