Можно ли считать уникальных посетителей странички по IP?

Question

[VanishingPoint]

Делаю сервис, в котором будут продаваться показы предложений в ленте.
Чтобы избежать слива бюджета конкурентами, как-то надо учитывать уникальный показ для 1 IP адреса в сутки, за остальные показы этому же IP деньги списываться не будут.
Возникает, понятное дело, вопрос: ведь на 1 IP-адресе могут за NAT сидеть много людей, особенно у мобильных операторов.
Насколько это на практике критично? Кто-нибудь сталкивался?

Answer 1

[Refguser]

Можно ли считать уникальных посетителей странички по IP?

Нет. Уникальность определяется другими способами. Простейший из которых - куки.

Насколько это на практике критично?

На 90.

Comments

[VanishingPoint]

При помощи просто кук невозможно организовать надежную защиту от слива бюджета конкурентами.
Надо продумывать какую-то систему, и она все равно будет ненадежна, ее можно будет обойти. Но если сделать ее достаточно хитро, стоимость ее обхода может оказаться чрезмерной.

[Everything_is_bad]

VanishingPoint, система давно придумана, есть куча реализаций, ты почему-то решил даже не гуглить

[Refguser]

VanishingPoint, я так и написал: куки - простейший механизм. Не устраивает - есть другие.
Но ты об этом не спрашивал. Какие вопросы ты задал - я на них и ответил (и даже больше).

spoiler

Можешь отмечать решением и задавать правильный вопрос.

[Дмитрий]

VanishingPoint, айпи поможет только против человека который давит f5. Как и куки. Против связки selenium + платные резидентные прокси поможет мало чего. Какие нибудь поведенческие алгоритмы - дык тоже такое

[Refguser]

Дмитрий,

Против связки selenium + платные резидентные прокси поможет мало чего

Не намного много лучше кук :) И только одно из решений для побеждения над не озвученной задачей.

[Дмитрий]

Refguser, не совсем понял? Я лишь говорю что и айпи и куки и даже их совместное использование я обойду на раз два три.

[Refguser]

Дмитрий, и я об этом. И даже без "selenium + платные резидентные прокси".
Точнее о том, что "selenium + платные резидентные прокси" - решение для определённых задач. и не факт что оптимальное (есть и проще и доступнее). Но нам задача не известна.

[Дмитрий]

Refguser, ну какой нибудь курл вскрыть все таки дело 10 секунд - просто куку ставить через js, по этому селениум нужен. Вскрыть прокси которые не резидентные - тоже не вопрос какая нибудь имперва или как ее, будет их блочить на раз два три

[VanishingPoint]

Refguser, Задача вроде описана довольно ясно. Есть сервис, в котором, скажем так, рекламодатели, покупают просмотры своих карточек в ленте.
Можно использовать для учета куку. Но ее легко подделать и сливать бюджет конкурента.
Можно IP. Но тогда возможна ситуация, что просмотры карточек разными посетителями будут засчитаны как просмотр одним человеком. Если это будет случаться относительно редко, то и хрен с ним. Этот вопрос и интересует. Каким именно образом создать систему подсчета, тут я думать за меня не прошу, своя голова есть.
Интересует сугубо вопрос - насколько часто будут разные юзеры заходить с одного IP. При этом, вариант с роутером на котором сидит мобильный, можно не учитывать.
Да, еще следует добавить что 90% посетителей будут с одного региона.

[Refguser]

Дмитрий, селениум нужен для автоматизации. Ака для масштабов. Для простого обхода защиты - это как Камаз для рыбалки.

[Дмитрий]

Refguser, я знаю для чего изначально предназначался. Однако в связи с защитами от простых http обращений его начали использовать для скраппинга и накруток. И может быть этот камаз для рыбалки, но его юзают все. Если вы расскажите мне какие другие есть варианты - с удовольствием послушаю, мне действительно очень интересно- что там нового появилось

[Refguser]

VanishingPoint, зачем ты тут это пишешь? При этом снова не понимая, что "довольно ясно" оно только в твоей голове. Уже хотя бы потому, что "сервис" - понятие растяжимое. А есть ещё масса нераскрытых деталей.

Ты вопросы задал? Да. Ответ на них получил? Да. Всё, отмечай решением.

[Refguser]

Дмитрий, вот никогда не надо говорить за всех. Без обид. но тут у тебя, как и у ТСа эффект ложного консенсуса. Вам обоим кажется, что все видят окружающее пространство вашими глазами. А мир гораздо шире...

Если вы расскажите мне какие другие есть варианты

Да хотя бы профили любого браузера и/или контейнеры в FF. И простые прокси/ВПН. Даже бесплатные. Доступно даже без изучения селениумов.

[VanishingPoint]

Refguser, Вопрос был - сколько может сидеть на 1 IP адресе человек. На практике. То есть не в теории и не расплывчато "много" или "мало", а вот например заходят по рекламной ссылке 1000 человек в течение суток, насколько часто будут совпадать IP адреса при том что юзеры разные.
Я хочу найти человека, который обладает такой информацией хотя бы приблизительно. А так, парсингом я и сам 10 лет занимался, и защиты всякие обходил, вплоть до таких на которых webassembly используется. Все это обойти можно, идеальной защиты не существует, вопрос лишь в цене такого обхода.
Но меня интересует - можно ли использовать IP в качестве идентификатора.
То что прокси можно юзать это меня не сильно парит. Прокси можно детектить, отсекать бОльшую часть, а хорошие прокси стоят столько что цена слива бюджета конкурента сделает затею не выгодной.

[Refguser]

VanishingPoint,

Вопрос был - сколько может сидеть на 1 IP адресе человек

В твоей голове? Ты этого вопроса не спрашивал, но даже ответил на него в своём вопросе.

И парниша, тут не форум. Тут не обсуждают. Читай правила.

[Дмитрий]

Refguser, не понял. Какие профили? Вы руками что ли трафик сливать будете? Ну это будет даже не на Камазе на рыбалку, а на поезде.

Я не говорю за всех, более того я вас прошу мне рассказать пути обхода банальной защиты - на первом посещении через джс ставим куку, редиректим и проверяем есть ли она. И я буду признателен если вы подскажете. Я конечно выпал из темы скраппинга сайтов, но все равно интересно, что нового придумали

[Refguser]

Дмитрий,

Какие профили?

Ты не знаешь что такое профиль браузера?
Тогда в гугояндексы.

Вы руками что ли трафик сливать будете?

Сам придумал задачу - на меня повесил? Не надо так делать.

Показывают на пальцах.
Дано: некий сайт на котором один пользователь только раз может что-то сделать (для простоты - отправить форму).
Решение: Я открываю сайт в одном профиле браузера - отправляю. Всё ОК.
Открываю второй профиль (или контейнер в FF) (по необходимости с другим прокси/ВПН/фингерпринтом/етс) - и вуаля, отправляю второй раз.
Можно и 3й и 4й раз и даже 10й раз повторить ручками. А вот когда нужно проделать это 100500 раз - вот тогда уже селениум, BAS и пр. инструменты автоматизации.

[Дмитрий]

VanishingPoint, вам в принципе никто не скажет сколько может сидеть за одним ип. От 1 до миллионов.

Какая вероятность совпадения можете сказать только вы. Если у вас посещаемость 10 человек в сутки - одна, миллион другая, какая география.

P.S. Простите а как webasembly мешал вам или помогал в парсинге? Тоже интересно.

[VanishingPoint]

Дмитрий, Мешал. Ну как, довольно просто. Сайт (фронт) может использовать webassembly для вычисления некого хеша, одновременно такой же хеш по тому же алгоритму вычисляется на сервере. Если хеши одинаковы, то все ок, реальный чел (ну или selenium).
Реализовать исполнение webasm трудоемко, то есть приходится использовать реальный браузер. Это сильно замедляет парсинг, хоть и не делает его невозможным. Но эта идея может быть реализована криво - один и тот же хеш можно использовать многократно с разных IP. То есть на сотню потоков обычных реквестов, можно было иметь всего один браузер, который в цикле получает нужный хеш и делится им со всеми потоками парсинга. Как-то так...

[Дмитрий]

Refguser,
1. Ну вроде как я понимаю что такое профили браузеров, однако мы вроде отказались от запуска браузеров, отказом от селениума. Не, не вопрос - можно поднимать руками, но это сильно гемморойнее. И разница между использованием браузера в прямую и через селениум - только в том что у вас не будет удобной обертки для запуска инстансов? В чем выгода то?
2. Мы находимся вроде на сайте QA, я вроде абсолютно спокойно и вежливо задаю вам вопрос - потому что мне интересно. В чем проблемы то?
3. Ну то есть я как я и говорил профили браузера вы предлагаете использовать в ручном режиме. То есть на рыбалку на поезде - окей. Сразу бы так и сказали

[VanishingPoint]

Дмитрий, Вот например вопрос: "какова вероятность что если 15 мая в приморье вы пойдете в лес, в вас вопьется клещ?" Я могу сказать - 100%, вопьется не менее 10, если ничем не брызгаться. Это реальная инфа, основанная на моем опыте.
А если я не знаю, то мне лучше промолчать. Но если хочется вставить свои 5 копеек, то можно сказать - "эй, чувак, не надо ходить весной в лес!" или "слушай, давно уже придуманы прививки". или - "ну.... может ни одного не впиться, а может тысяча... никто не знает точно". Все эти ответы - бесполезны.

[Дмитрий]

VanishingPoint,
1. А если сайт написан на TypeScript? CoffeScript? Что это меняет?
2. Ну собственно ровно о том что я вам написал, кроме того что реализация кривая, если один поток может получить хэш подходящий для кучи потоков. И вы собственно тут же пришли к тому чего я говорил изначально. К чему тогда это все?

[WbICHA]

Refguser, мне кажется у тебя с Дмитрий недопонимание. Дмитрий изначально начал тему о массовом сливе бюджета. Поэтому каким боком тут 2-3 и даже 10 обходов ручками несовсем понятно. С тем же успехом можно и лично наведаться к бизнесу и поставить на счётчик.)

[Дмитрий]

VanishingPoint, окей. не пишите бесполезные ответы. У вас плохое настроение? Я написал свои мысли что задача малорешаема и привел свои мысли по чему, вы зачем то полезли с ними спорить, а теперь говорите что это бесполезные ответы.

[WbICHA]

Насколько это на практике критично?

На 90.

Просто к сведению, "насколько" и "на сколько" — это не одно и тоже.)

[Дмитрий]

WbICHA, я вообще смутно понимаю кто будет сливать бюджет руками. Не, ну не вопрос, земля богата самородками, но все же руками и переключением браузеров сложно слить бюджет ларька в урюпинске, по этому я честно говоря вообще не рассматривал ситуацию слива бюджета без автоматизации.

Answer 2

[Олег]

Чтобы избежать слива бюджета конкурентами, как-то надо учитывать уникальный показ для 1 IP адреса в сутки, за остальные показы этому же IP деньги списываться не будут.

Идеально для рекламодателя. За цену одного показа аудитория, сидящая за одним NAT сервером.

Откройте логи своего сервера. Посчитайте кол-во строк с запросом какой нибудь внутренней страницы.
сравните с числом уникальных айпи с которых к ней были обращения.

Прикиньте свою упущенную выгоду. Соотнесите с затратами на сделать подсчет лучше.
Если овчинка не стоит выделки, то и так сойдет.
Единственное рекламодателю показывал бы два числа. Всего показов (уникальных IP)

Answer 3

[alexalexes]

В вашем случае только пост анализ инцидентов спасет, например, частотным анализом выявлять аномальную активность, и аннулировать результат этой активности.
В общем, инструментарий у вас должен быть такой же как и в случае защиты сети организации, но цель у вас будет другая.

Answer 4

[lotse8]

В вопросе не указана важная деталь - кто целевая группа. Если это бизнес и большей частью фирмы, то много будет сидеть на одном IP и нужно что-то другое. Если это физические лица, то можно смело фильтровать по IP и не заморачиваться.

Comments

[VanishingPoint]

Почему можно не заморачиваться?
Есть сценарии в которых IP не годится.
В моем случае возможен такой вариант: реклама на спинках сидений автобусов. Посетитель ее видит и заходит на сайт прям с автобуса. А там вайфай бесплатный… хотя наверное мало кто им пользуется.
Но вот сколько человек за 1 IP может сидеть у оператора в одном регионе, это вопрос. Если сотни, то может получиться что 10% разных людей будут идентифицированы как одинаковые.
В сущности, путем размышлений я понял что не существует надежного способа без учета IP отсеивать фрод. Можно усложнить задачу злоумышленникам, но при желании они подделают все что угодно. Я сам распутывал такие клубки, и это не так уж сложно.
А вот IP надежно идентифицирует юзера, если бы не NAT. Конечно есть прокси, в том числе десятки тысяч бесплатных, но они легко отсеиваются, т.к. их несложно получить из тех же мест из которых их будут получать фродеры.
Таким образом остается актуальным вопрос - сколько за NAT у оператора сидит юзеров. Причем, ситуация осложняется тем что это все в одном городе, то есть общее количество IP-адресов будет не так велико как для РФ вообще.