В последнее время трафик на сайте вырос резко в десятки раз - нас начали парсить.
У нас сайт находится внутри локальной сети под управлением IIS - все запросы на IIS поступают уже с одинаковым IP - и я не могу получить IP чтобы попробовать сделать какие то блоки. Пока администраторы севера ищут пути на своей стороне - пытаемся что то придумать на стороне сайта.
В логах IIS вижу бешеный трафик - но встает вопрос, почему в яндекс.метрике нет скачков посещений - как они это понимают, и фильтруют?
Яндекс.Метрика? - Никак, - те кого вы называете парсерами её просто не запрашивают: обычно они запрашивают голый HTML, а если и нет, т.е. если используют что-то вроде headless браузера, то нахрена им запрашивать какую-то Яндекс.Метрику, если её можно заблокировать. Я вот тоже, если зайду обычным браузером на ваш сайт, этого в вашей сраной Яндекс.Метрике не будет.
АртемЪ, пользователям (посетителям сайта) она и подобные ей вещи нужны как собаке пятая нога и могут препятствовать работе (например, если пользователь не любит обновлять браузер и сам сайт без всяких метрик прекрасно бы работал в прежней версии) и в любом случае гоняют лишний трафик и замедляют работу.
Более важно то, что вставка скриптов со сторонних источников сродни хранения ключа от квартиры под ковриком у двери. Особенно это бесит на страницах с авторизацией и в личных кабинетах после авторизации. И не стоит рассчитывать, что Яндекс не взломают, а если взломают это будет быстро обнаружено - по умному данные будут тихо сливаться так, что никто ничего не заметит. Или более заметные действия, вроде вставки сторонней рекламы, будут производится лишь при определённом стечении обстоятельств. Я сам встречал полный дефейс всех страниц сайта сторонним скриптом при определённом User-Agent'е. По хорошему, если нужна какая-то аналитика, то скрипты для неё следовало бы покупать или разрабатывать самому, размещать на собственном сервере и ни с кем не делиться собранными данными.
пользователям (посетителям сайта) она и подобные ей вещи нужны как собаке пятая нога
Ну так она не для пользователей, а для владельцев сайта.
Пользователю то ее кто предлагает?
По хорошему, если нужна какая-то аналитика, то скрипты для неё следовало бы покупать или разрабатывать самому, размещать на собственном сервере и не с кем не делиться собранными данными.
Так это деньги и время. Оно владельцу сайта нужно свои деньги тратить на такую фигню, если яндекс бесплатно это предоставляет?
А оно ей надо? Метрика это скрипт который выполняется у пользователя.
А парсер чаще всего никаких скриптов не выполняет, просто загружает нужную информацию.
У нас проблема связана с тем, что своя статистика внутренняя бешено накручивается... Видимо тоже надо переводить на JS скрипты ее, чтобы парсеры не вызывали ее
Простой
Средний
Простой
