• Почему nginx по любому адресу открывает одну и ту же страницу?

    Magic_Moment
    @Magic_Moment
    Юрий Чудновский, может, кому-то будет полезно: в моем случае, нужно было сконвертировать содержимое .htaccess в конфиги виртхостов :)
    Написано
  • Как запретить доступ к сайту из USA но разрешить user-agent Googlebot?

    Magic_Moment
    @Magic_Moment Автор вопроса
    shurshur, получается и да и нет. После регистрации нужно перейти на страницу после чего скачать архив на ПК, вручную залить распаковать и внутри... получить какой-то набор файлов, один из которых "*.mmdb"/ Но судя по всему, расширение должно быть "*.dat". Путь в конфиге NGINX к нему указал, но ожидаемо ничего не заработало. Скорее всего что-то не то скачал все равно. Вот ссылка на скачку, если что, которая есть
    GZIP
    Download SHA256
    ну и по ключу слицензией в том же списке.
    Permalinks for GeoLite2 Country×
    Below are permalinks that you can use to download the database.
    
    Remember to replace YOUR_LICENSE_KEY.
    
    # Database URL
    https://download.maxmind.com/app/geoip_download?edition_id=GeoLite2-Country&license_key=YOUR_LICENSE_KEY&suffix=tar.gz
    
    # SHA256 URL
    https://download.maxmind.com/app/geoip_download?edition_id=GeoLite2-Country&license_key=YOUR_LICENSE_KEY&suffix=tar.gz.sha256


    В общем, завтра на свежую голову еще попробую.
    Написано
  • Как запретить доступ к сайту из USA но разрешить user-agent Googlebot?

    Magic_Moment
    @Magic_Moment Автор вопроса
    shurshur, мне только страны нужны)
    Написано
  • Как запретить доступ к сайту из USA но разрешить user-agent Googlebot?

    Magic_Moment
    @Magic_Moment Автор вопроса
    Здравствуйте, dodo512)
    Есть еще такой вопрос: где можно скачать базу GeoIP по городам. На всех ресурсах указаны старые варианты на поддомене, например geolite.maxmind.com/download/geoip/database/GeoLit...
    думал по шурику поставлю модуль, но не тут-то было.

    Но maxmind на столько переделал сайт, что даже зарегистрировавшись не удается получить ссылку для скачивания. Или я чего-то не понимаю и все теперь только по подписке и платно стало?
    Написано
  • Как настроить NGINX для корректного отображения страниц?

    Magic_Moment
    @Magic_Moment Автор вопроса
    dodo512, понятно, надо начинать учить матчасть)
    Написано
  • Как настроить NGINX для корректного отображения страниц?

    Magic_Moment
    @Magic_Moment Автор вопроса
    dodo512, Скажите, вы каким-то сервисом конвертировали?
    Этот и этот сервисы мне давали совершенно другие результаты. Понимаю, что они могли не верно отработать, но правила вроде не сложные для них.
    Написано
  • Как настроить NGINX для корректного отображения страниц?

    Magic_Moment
    @Magic_Moment Автор вопроса
    dodo512, Тогда я думаю, что будет хорошей практикой, если вы скопируете ваш ответ, который я лайкнул, чтобы я отметил его как решение. Думаю, это поможет тем, у кого будет подобная проблема и вам плюс в карму не помешает ;)
    Написано
  • Как настроить NGINX для корректного отображения страниц?

    Magic_Moment
    @Magic_Moment Автор вопроса
    dodo512, как мне отметить ваш ответ как решение?
    Написано
  • Как настроить NGINX для корректного отображения страниц?

    Magic_Moment
    @Magic_Moment Автор вопроса
    dodo512,спасибо вам, вы сделали мой день!
    Я разместил ваши преобразованные для NGINX правила в блок server и все заработало!))
    Раньше видел это условие
    RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC]
    , но robots.txt открывался, поэтому "не ломал то, что работало". Но вы правы, это правило видимо лишнее и никакой полезной нагрузки не несет.
    Еще раз вам спасибо)
    Написано
  • Лимит времени между запросами для парсинга выдачи гугла?

    Magic_Moment
    @Magic_Moment
    Если запросов не так много, то никакого 429 не будет. Я обычно паршу 1 запрос каждые 5-15 секунд (выставляю рандомно). А если у вас динамический IP, то переживать вообще не стоит. Если вдруг и заблокирует, то ребутите роутер и все ок. Если начинают выскакивать капчи частоту уменьшаю. Парсить желательно в 1 поток. И вообще, смотря что парсить. Кое-что можно спарсить через различные сервисы.
    Написано
  • Как настроить NGINX для корректного отображения страниц?

    Magic_Moment
    @Magic_Moment Автор вопроса
    dodo512, да было. Но я думаю, что он на вывод никак не влияет. Меня больше смущают строки по созданию урлов для статического контента. Такого в конфигах NGINX сейчас точно нет. Не хотел перегружать. Вот код, который был ниже:
    ErrorDocument 404 /404.php
    #########################
    ### БЛОКИРОВКИ НАЧАЛО ###
    #########################
    <IfModule mod_rewrite.c>
    RewriteEngine on
    RewriteBase /
    # Запретить все IP, кроме СНГ, Google:
    RewriteCond %{REMOTE_ADDR} !^(?:2|3|5|3[17]|46|62|7[7-9]|8[0-9]|9[0-5]|1(?:09|28|3[046]|4[1569]|5[189]|64|7[168]|8[58]|9[2-5])|21[237])\..*$
    RewriteCond %{HTTP_USER_AGENT} !Googlebot [NC]
    RewriteRule ^.*$ - [F,L]
    </IfModule>
    
    # Блокируем IP
    Order deny,allow
    deny from 94.19.233.51
    
    #########################
    ### БЛОКИРОВКИ КОНЕЦ  ###
    #########################
    
    <IfModule mod_deflate.c>
    # Compress HTML, CSS, JavaScript, Text, XML and fonts
    AddOutputFilterByType DEFLATE application/javascript
    AddOutputFilterByType DEFLATE application/rss+xml
    AddOutputFilterByType DEFLATE application/vnd.ms-fontobject
    AddOutputFilterByType DEFLATE application/x-font
    AddOutputFilterByType DEFLATE application/x-font-opentype
    AddOutputFilterByType DEFLATE application/x-font-otf
    AddOutputFilterByType DEFLATE application/x-font-truetype
    AddOutputFilterByType DEFLATE application/x-font-ttf
    AddOutputFilterByType DEFLATE application/x-javascript
    AddOutputFilterByType DEFLATE application/xhtml+xml
    AddOutputFilterByType DEFLATE application/xml
    AddOutputFilterByType DEFLATE font/opentype
    AddOutputFilterByType DEFLATE font/otf
    AddOutputFilterByType DEFLATE font/ttf
    AddOutputFilterByType DEFLATE image/svg+xml
    AddOutputFilterByType DEFLATE image/x-icon
    AddOutputFilterByType DEFLATE text/css
    AddOutputFilterByType DEFLATE text/html
    AddOutputFilterByType DEFLATE text/javascript
    AddOutputFilterByType DEFLATE text/plain
    AddOutputFilterByType DEFLATE text/xml
    # Remove browser bugs (only needed for really old browsers)
    </IfModule>
    Написано
  • Как настроить NGINX для корректного отображения страниц?

    Magic_Moment
    @Magic_Moment Автор вопроса
    @dodo512
    Вот так:
    #Обозначаем кодировку сайта
    AddDefaultCharset UTF-8
    
    #Блокируем надоедливых роботов
    <IfModule mod_setenvif.c>
    SetEnvIfNoCase User-Agent "AhrefsBot" bot
    SetEnvIfNoCase User-Agent "Mail.RU_Bot" bot
    SetEnvIfNoCase User-Agent "^Microsoft.URL" bot
    SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bot
    SetEnvIfNoCase User-Agent "bingbot" bot
    SetEnvIfNoCase User-Agent "Screaming Frog SEO Spider" bot
    SetEnvIfNoCase User-Agent "^Xenu" bot
    SetEnvIfNoCase User-Agent "SemrushBot" bot
    SetEnvIfNoCase User-Agent "archive.org_bot" bot
    SetEnvIfNoCase User-Agent "Baiduspider" bot
    SetEnvIfNoCase User-Agent "yahoo! slurp" bot
    SetEnvIfNoCase User-Agent "DuckDuckBot" bot
    SetEnvIfNoCase User-Agent "MJ12bot" bot
    Deny from env=bot
    </IfModule>
    
    # Директива включает редиректы.
    RewriteEngine on
    # Без директивы (.*) = /$1 будет /var/wwww/site/web/$1  с директивой  = /$1
    RewriteBase /
    
    # Разрешает переход по символическим ссылкам.
    #Options +FollowSymLinks
    
    # запретить отображение ошибок  (требование монитора качества)
    #php_flag display_errors off
    
    ##################
    ### SEO НАЧАЛО ###
    ##################
    
    # 301 с IP на домен
    RewriteCond %{HTTP_HOST} ^1\.2\.3\.4
    RewriteRule (.*) https://site.com/$1 [R=301,L]
    
    # 301 с IP на домен
    #RewriteCond %{HTTP_HOST} ^[\d.]+$
    #RewriteRule ^(.*)$ https://site.com/$1 [L,R=permanent]
    
    #301 c index.php
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_URI} !(.*)/$
    RewriteRule ^(.*[^/])$ $1/ [L,R=301]
    
    # 301 http → https
    RewriteCond %{HTTPS} off
    RewriteCond %{HTTP:X-Forwarded-Proto} !https
    RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
    
    # 301 www → без www
    RewriteCond %{HTTP_HOST} ^www\.(.*)$
    RewriteRule ^(.*)$ https://%1/$1 [L,R=301]
    
    # Проверяем, повторяется ли слеш (//) более двух раз.
    RewriteCond %{THE_REQUEST} //
    # Исключаем все лишние слеши.
    RewriteRule .* /$0 [R=301,L]
    
    # Добавляем слеш(/), если его нет, и это не файл
    # Если слеша в конце нет.
    #RewriteCond %{REQUEST_URI} !(.*)/$
    # Не является файлом.
    #RewriteCond %{REQUEST_FILENAME} !-f
    # В URL нет точки (файл).
    #RewriteCond %{REQUEST_URI} !\..+$
    # В URL есть хоть один символы
    #RewriteCond %{REQUEST_URI} ^(.+)$
    # Добавляем слеш в конце.
    #RewriteRule ^(.*)$ $1/ [L,R=301]
    
    
    ##################
    ### SEO КОНЕЦ  ###
    ##################
    #Создаем статические страницы для файлов с расширением .php
    RewriteRule ^page/([0-9]+)/$ index.php?page=$1 [L,QSA]
    RewriteRule ^cat/([0-9]+)/(.*)/([0-9]+)/$ cat.php?id=$1&name=$2&page=$3 [L,QSA]
    RewriteRule ^cat/([0-9]+)/(.*)/$ cat.php?id=$1&name=$2 [L,QSA]
    RewriteRule ^collections/$ collections.php [L,QSA]
    RewriteRule ^collections/([0-9]+)/$ collections.php?page=$1 [L,QSA]
    RewriteRule ^search/(.*)/([0-9]+)/$ search.php?q=$1&page=$2 [L,QSA]
    RewriteRule ^search/(.*)/$ search.php?q=$1 [L,QSA]
    
    RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC]
    Написано
  • Гугл не видит css в вебмастере что делать?

    Magic_Moment
    @Magic_Moment
    Здравствуйте. Я бы не ориентировался на то, как отображается ваш сайт в GSC, а посмотрел то, как выглядит ваш сайт через оператор cache:site.com
    Если выглядит с изображениями и стилями, тогда все в порядке. А еще лучше, если бы вы сайт скинули сюда, если он публичный. А то как пальцем в небо.
    Написано
  • Почему nginx по любому адресу открывает одну и ту же страницу?

    Magic_Moment
    @Magic_Moment
    Здравствуйте.
    Столкнулся с такой же проблемой как и автор поста, но не понимаю, что вы имеете ввиду под понятием "фиктивные файлы"? Спасибо.
    Написано