Станислав Макаров, если ICAAN и т.п. являясь некоммерческими организациями не делают этого, тогда кто, боты в первые же минуты после регистрации домена узнают об нём, как, каким образом?
Раз уж удалось определить, что после регистрации к вам бегают сомнительные IP, значит и собрать статистику с них можно. Ловите все что можно, функционал php\js в помощь.
Но зачем? Ко мне вот на сервер постоянно ломятся боты в надежде найти там wordpress или ещё какое решето и получают 404, толку собирать эту статистику?
Ostin1, фильтр простой: кто обратился на несуществующий в sitemap.xml линк или попал в запрещённое в robots.txt правило - сразу в блэк-лист на перманентный срок. :) Делов-то! ))
marink0, отучим печатать/подбирать - мне лень разбираться, чем он там занимается, кто этим занимается и человек ли это вообще...
Есть всего 4 варианта нормального ЧЕЛОВЕЧЕСКОГО доступа к веб-сайту:
1. По имени домена: набрали имя домена и нажали перейти/Enter.
2. Переход из поисковой системы: гугл, яндекс, бинг и т.д.
3. Ссылка найдена на внешнем ресурсе: форум, соц.сети, по чату кинули ссылку и т.д.
4. Заранее сохранённый линк: закладка в браузере, в текстовике и т.д.
Ну, ладно уж, опечатался - можно каптчей процедурного сокобана его за это наказать)) Пущай поиграется, если так уж ему хочется... :))
xmoonlight, хм... пара вариантов:
1. На сайте была страница, но потом ее удалили. Пользователь попадает на нее из поиска/адресной строки/с внешнего ресурса/по сохраненному линку.
2. Конкуренты/злые морды просекли что наш сервер банит все IP которые обращаются по адресу несуществующей страницы (или по типичному адресу из спам листа бота) и начали распространять в кругах потенциальных клиентов/прямо в комментах на нашем сайте/через контекстную рекламу, скрытые картинки с src ведущими на те самые адреса.
Yan-s,
1. храним историю удалённых линков, чтобы избегать блокировки добросовестных пользователей по нашей вине.
2. Если есть реферер и кривой линк: на первый раз - выдавать предупреждение, что человек, передавший Вам линк пытается лишить Вас доступа к нашему сайту.
Если Вы укажите, ресурс (линк): мы вернём Вам доступ сразу или сокобан. )))
Внесём ресурс в "белый" список для этого IP на день.
Во развели то. А всего-то надо просто собирать больше инфы о том, что за IP приходят, чтобы можно было по анализировать трафик и лучше разобраться в ситуации.
Средний
