Задать вопрос
@sergeiy_permyakov
nginx

Сделать перенаправления или как избавиться от дублей?

После атаки на сайт в индекс "поулетали" такие страницы:

spoiler

/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?3221919=anephrotomiesy
/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?2861290=knonhieraticalp
/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?613844=dequilibrationsr
/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?2749008=bpreelectricali
/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?142978=upsychomotilityi
/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?2569239=pfacesheetsm
/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?998433=anonofficeholdingv
/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?1444392=enonathleticu
/zanimatelnaya-vitaminologiya-vsegda-li-vitamin-idet-na-polzu/a/?192887=inicholasvillee
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?1670981=bslipwaysx
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?13051=palcoholicsn
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?2241617=mcaseophilel
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?2510879=jlassoerj
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?1053405=apolarida
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?2272716=tamerismw
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?3087564=xstuggyw
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?3083005=fsillary
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?2041002=qligarinek
/v-krovi-rebenka-antitela-k-xelikobakter-chto-delat/r/?1286718=bdeparteep
/i/?2264266=hunderbidsl
/i/?2760614=cstacyvilleg
/i/?36926=jlegateer
/i/?617491=oseaslugh
/i/?93556=jamebousl
/i/?1294808=ldistociac
/i/?2785002=ktransformantt
/i/?1310125=wimplorert
/i/?2125543=ychylothoraxv
/i/?3384044=xembezzlingr
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?12342=hsepiostairex
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?1555434=qstacyvillel
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?3792306=jprosomall
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?1999039=sdecrownerq
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?3168581=xpreclothedz
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?915470=memmetsburgl
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?1095194=jarchinesp
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?2032305=tureometerc
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?806629=rcorymbulosea
/archive/kolbasy-kurinye-syrovyalenye-vozmozhno-li-eto/o/?2216166=hlevelnessw
/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?904242=tblackenero
/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?398661=lvertumnusl
/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?1101304=ycodfishc
/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?2022464=vkitkath
/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?1199135=elieproofp
/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?515867=hkettrini
/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?2800275=ndentoosteitism
/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?1236846=tprefinew
/laiffhaki-dlia-mam-v-dekrete/?110958=rtensilelyn
/laiffhaki-dlia-mam-v-dekrete/?2110401=ralmuryf
/laiffhaki-dlia-mam-v-dekrete/?2319182=vintonesn
/laiffhaki-dlia-mam-v-dekrete/?2885791=dhurtlesf
/laiffhaki-dlia-mam-v-dekrete/?3755249=xfelsolj
/laiffhaki-dlia-mam-v-dekrete/?1947241=lcentaurinr
/laiffhaki-dlia-mam-v-dekrete/?1417338=ktourneure
/laiffhaki-dlia-mam-v-dekrete/?448761=vcelurew
/laiffhaki-dlia-mam-v-dekrete/?1189697=edarkworkingp
/laiffhaki-dlia-mam-v-dekrete/?1571439=frachioparalysise
/y/?1753855=cecchymosedd
/y/?3179984=bjeremiasc
/y/?3511273=snotariallyo
/y/?3057777=wdroppyq
/y/?3794476=lataxiesn
/y/?262392=oenslavedj
/y/?597895=xunfacetiouslyj
/y/?1946751=bexcursex
/y/?2693866=odissolveabilityt
/y/?188162=xsport
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1435254=fpremioz
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1920353=acaupom
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?822812=hbatleshipu
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1297583=hantiseleney
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1759807=uunconditionater
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1158221=rpoppieso
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?157959=rplopss
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?202316=wcbemao
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?729183=mutterlya
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?717412=hdesirabilitiesr
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?3242115=choazinm
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?3229420=pbonyfishx
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?349831=mdiacriticalk
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?3269042=cavengert
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?1081219=iwarliket
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?289662=ipostnephriticr
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?164578=neugenleq
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?574002=qnongroundedw
/na-chem-osnovyvayutsya-antiprivivochniki-kto-i-zachem-otgovarivaet-ot-vakcinacii/?3315217=ddilld

/detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?837148=ypolyhydroxylatedr /detalnyj-portret-tixogo-ubijcy-virus-gepatita-s/s/?497552=bbacillosisv

и так далее. В итоге появились дубли, вижу вариант прописать перенаправления, думаю что нужно использовать регулярку. Например, чтобы все

/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1435254=fpremioz	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1920353=acaupom	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?822812=hbatleshipu	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1297583=hantiseleney	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1759807=uunconditionater	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?1158221=rpoppieso	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?157959=rplopss	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?202316=wcbemao	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?729183=mutterlya	
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov/?717412=hdesirabilitiesr

направились на 
/fajer-shok-kak-ne-postradat-ot-prazdnichnyx-salyutov
.

Такое возможно или первоначально я думаю не в ту сторону? И если возможно, как правильно в .htaccess прописать?
  • Вопрос задан
  • 125 просмотров
1 комментарий
Подписаться 1 Простой 1 комментарий
Решения вопроса 1
@Kypidon4ik
Фрилансер, Wordpress developer
Для того чтобы запретить индексацию GET параметров в robots.txt файле, вы можете использовать директиву "Disallow" с символом "?" для указания наличия GET параметров в URL.
robots.txt:
User-agent: *
Disallow: /*?

Символ "?" обозначает начало GET параметров в URL.

Бонус:
Чтобы запретить все get параметры:
nginx conf:
server {
    listen 80;
    server_name example.com;

    location / {
        if ($args) {
            return 403;  # Запретить доступ к страницам с GET параметрами
        }
        # Ваша дальнейшая конфигурация для обработки запросов
    }
}

Этот конфигурационный блок будет блокировать доступ к страницам с GET параметрами и возвращать ошибку 403 "Forbidden".
PS Не забудь ребунтнуть nginx

htaccess:
RewriteEngine On
RewriteCond %{QUERY_STRING} .+
RewriteRule ^(.*)$ $1? [R=301,L]

Этот блок будет перенаправлять любые URL с GET параметрами на тот же URL без параметров с кодом 301.
Ответ написан
8 комментариев
8 комментариев
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Эксперт по инфраструктуре
Гринатом • Москва
До 200 000 ₽
Прикладной администратор SberApps
Сбер • Москва
от 230 000 ₽
DevOps разработчик
media5 • Москва
от 150 000 до 220 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Разработать сайт со сложной формой и генерацией PDF
20 мая 2024, в 00:24
25000 руб./за проект
Ищу в команду Frontend-разработчика
20 мая 2024, в 00:17
10000 руб./за проект
Разработать мобильное приложение для ОС Android
20 мая 2024, в 00:13
20000 руб./за проект
Ещё заказы