Может быть подскажите еще как бороться с
Unknown robot (identified by 'crawl')
Unknown robot (identified by 'robot')
Unknown robot (identified by '*bot')
Unknown robot (identified by 'bot*')
Unknown robot (identified by empty user agent string)
Unknown robot (identified by hit on 'robots.txt')
Unknown robot (identified by 'spider')
SurveyBot
FavIconizer
С последними понятно...
Алексей POS_troi: Уже прибили почти =( , поздно логи смотреть начал, теперь бы найти КТО ? И сделать ему тоже самое )))) , Яндексы говорят все хорошо у вас фильтров не стоит, и говорят попросите те домены которые ссылаются на ваш сайт убрать ссылки )))) Яб попросил )))
lubezniy: при том что ссылок на этих ресурсах на мой сайт НЕТ, а переходы идут , полка только нашел такой способ борьбы не знаю насколько он правильный
if ( $http_referer ~* (sex|teen|znakomstva|renteilat|dietgumbuy|freegames|amritasalon|games|hostx|imgur|imperia|pizza|parallaxsearch|alonamoda|quattroural|traffic|777s|imgur|romansmirnov|alonamoda|vk.com|pictures11|amsterjob) )
{
return 403;
}
протестировал с контакта работает отдает 403
Антон Артёмов: просто указал по вашему совету listen 80 default_server; (хотя до этого все же работало нормально) непонятно почему слетает, изменения делаю крайне редко.
Спасибо!!!
Антон Артёмов пересмотрел все конфиги реврайтов нет, хост по умолчанию установлен, phpmyadmin сделан следующим образом, location /phpma {
alias /usr/share/phpmyadmin/;
location ~ \.php$ {
fastcgi_pass unix:/var/run/php5-fpm.sock;
fastcgi_index index.php;
include fastcgi_params;
fastcgi_param SCRIPT_FILENAME $request_filename;
fastcgi_ignore_client_abort off;
}
}
и работает только при обращении к ip/phpma сейчас он просто переправляет на домен, я ничего не менял в конфигах за последние 2 дня. посмотрел еще вчера я заходил ip/phpma в 13-27 вечером уже переправлять стало. куда копать не знаю.
Лично для меня это стало заметным в последнее время, когда конкуренты стали пользоваться директом!!! Понятно что прямо никто не скажет. Видимо теперь побеждает тот у кого бюджет в директе больше =)
Возможно яндексу и не выгодно. У меня этот "говносайт" подключенный к директу уже несколько месяцев если не изменяет память сентябрь-октябрь имеет следующую статистику за мес. переходы по ссылкам на сайтах 57%, поиск 24 %, и остаток это прямые заходы 17%, обявление на первой срочке, выше конкурентов, сайт берет практически все запросы связанные с тематикой по нашему городу, его конкурент более или менее приличный ресурс, в конце топ10 хотя до того как мы в директ свой закинули он занимал лидирующие позиции, в директе также присутствует на более дешевых позициях, уверен если нам сейчас снять этот сайт с директа то и с поиска он тоже вылетет Александр правильно подметил.
Игорь Шанский: Игорь Спасибо за предложение !!! Начал верстку на joomla пока вроде весь функционал работает ))) за исключением модуля опросов, действительно это наверное лучшее решение будет чем ковырять исходники 8 летней давности
Игорь спасибо за уделенное время и за Ваш ответ!!! В реврайтах бесполезно указывать ошибку, по логам ведь видно что сервер отдает 200 а не 404, вы правы это в исходниках надо ковырять, предыстория такова что когда этот сайт одна компания делал в 2008 году они не отдали исходники (CMS их самописная ), когда мы решили сменить хостинг и отказаться от их услуг они эти исходники зашифровали Зенд'ом, у нас другого выхода не было как расшифровывать это все, раньше вроде работало все, а теперь накрылось и яндекс день ото дня набирает пустых страниц =((( вообщем сайт в *опе, сейчас вот сижу и думаю перевести это все на джумлу, либо все исключенные страницы закидывать в robots.txt =)))))
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Unknown robot (identified by 'crawl')
Unknown robot (identified by 'robot')
Unknown robot (identified by '*bot')
Unknown robot (identified by 'bot*')
Unknown robot (identified by empty user agent string)
Unknown robot (identified by hit on 'robots.txt')
Unknown robot (identified by 'spider')
SurveyBot
FavIconizer
С последними понятно...