Как защитить номер телефона в доске объявлений от парсинга?

Question

[Антон Р.]

В качестве учебного проекта делаю доску объявлений и я задумался как можно защитить такой вид персональных данных как телефонный номер продавца в объявлении? Ведь нельзя позволить тупо спарсить номер роботам чтобы номера потом попадали в "черные" базы для спама.

Навскидку предполагаю несколько вариантов:
1. Генерировать номер в виде картинки "на лету" через встроенные в php функции которые создают jpeg или png картинки
2. Транслировать номер через некий встроенный iframe с блокировкой копирования текста или еще как-то
3. С помощью JS как-то отслеживать поведение посетителя на странице и только если поведение соответствует шаблону давать кликнуть "показать номер".

А как сделали бы вы? Интересно какие есть еще концепции? В целом, без кодов и прочего, интересны сами подходы.

Comments

[Сергей Соколов]

вариант 0:
(самостоятельно) обойти популярные международные сервисы объявлений и посмотреть, какие решения по защите номеров применяются у них. Проанализировать их сильные и слабые стороны. Составить сравнительную таблицу.

[Антон Р.]

Сергей Соколов, но кто ж мне покажет серверную часть как это реализовано? ) Ну а так да.

[edward_freedom]

Антон Р., 1. Распознавание чисел с картинки отлично с этим справится.
2. Интересно, но не выход. Имуляция браузера обойдет твою любую блокировку и доберется до фрейма без проблем.
3. Записывать поведение мышки и повторить и получить номер

[Егор Живагин]

Вообще, мне пришёл на ум один забавный вариант: генерить картинку с номером, но при этом добавлять к номеру в конец одно рандомное число. На фронте стилями это число прятать. Да, номер у вас спарсят, но ... :)

[Антон Р.]

Егор Живагин, учитывая что авито тупо генерит ПНГ картинку это способ еще хитрый у вас ))

[Егор Живагин]

Антон Р., ну да, получается чуть безопаснее
Но вообще, я думаю, что картинка - это ад в плане юзер-френдли, потому что нельзя скопировать номер и вставить куда нужно. Меня это очень сильно раздражает

[Developer]

Егор Живагин, но... что? Номер должен состоять из 10 цифр, а вы отдадите 11. И ничто не мешает отсечь последнюю цифру

[Егор Живагин]

Developer, конечно не мешает, если вы парсите пару сайтов, и контролируете своими глазами номера, которые с них поступают. А если у вас таких сайтов хотя бы несколько десятков и в каком-то небольшом проценте номеров в вашей базе другое кол-во символов - не уверен, что вы придадите этому значение.

Да и чтобы проверить, что не нужна именно последняя цифра, нужно найти откуда спарсился номер и самому сходить проверить.

Не, понятно, что всё равно есть возможность спарсить номер. Но этот метод, я думаю, достаточно сильно мешает автоматизации процесса

[Егор Живагин]

А вообще, неплохой идеей кажется проверять по заголовкам запроса/кукам/... что запрос пришёл с вашего сайта, иначе вместо картинки с номером отдавать что-то другое. Но я пока не уверен в реализации

[Developer]

Егор Живагин, это всё обходится легко. Referer легко подменяется, как и куки.
Знаем, плавали

[xfg]

Антон Р., на авито, чтобы получить картинку с номером нужно для начала собрать так называемый phone key (pkey в запросе). Код сборки этого ключа запутан и обфусцирован. Полагаю, что время от времени его еще и меняют, чтобы переодически отваливались все работающие парсеры. Конечно можно используя реверс инженеринг разобраться как он генерится, но мне лично надоело ковыряться уже на этапе профайлинга.

Я думаю, что по логам анализируют тех кто прицепился и тащит номера. Когда таких набирается критическая масса, меняют алгоритм генерации ключа, в итоге все парсеры отваливаются, а авторы должны начинать весь процесс реверс инженеринга сначала. Не все будут это делать, так как это стоит определенных ресурсов.

[Антон Р.]

xfg, в смысле собирают статистику поведения и еще 100500 параметров перед этим?

[xfg]

Антон Р., ну да, вероятно есть внутренняя утилита, которая по определенным параметрам собирает все подозрительные запросы или что-то подобное, что показывает масштаб бедствия. В крупных компаниях всегда ведется сбор всего чего только можно, чтобы понимать, что вообще происходит с проектом.

Answer 1

[CityCat4]

Обычно показывают только часть номера, для показа полного номера по нему нужно кликнуть

Comments

[Рональд Макдональд]

... более того, он будет в виде картинки.

[Рональд Макдональд]

BD_ l3ftoverZ!, риторический вопрос, над которым бьются спамеры всего мира.

[Антон Р.]

BD_ l3ftoverZ!, написать последние две цифры текстом, и необычным шрифтом с курсивом )

[orbit070]

Антон Р., а теперь вспомните самое главное - что сервис существует для пользователя и его удобства. Если я с телефона захожу и вижу номер, то хочу кликнув на него перейти сразу в звонилку и вообще не хочу видеть извращения в виде чисел текстом. Это больше похоже на детский сад

[Антон Р.]

orbit070, тогда получается никак не защитить, только оградить от самых топорных вариантов парсинга.

[АртемЪ]

Антон Р., это немного усложнит процесс.
А вообще цифры прописью распознавать даже проще чем числом, особенно если точно знаешь, что это цифра.

[Developer]

Антон Р., Защитить от парсинга невозможно. Можно только его усложнить, повысить стоимость

Answer 2

[Кирилл Горелов]

Не претендует на супер метод, но хотя обратить на это внимание можно.

У криптобиржи binance есть мобильное приложение.
Там есть капча, но капча она у них самописная.
Там надо провести фигурку до определенного места. И тогда проходит процесс авторизации или регистрации.

Если найдешь подобный скрипт или напишешь сам, то ты можешь попробовать применить у себя.
Причем сам номер показывать после прохождение капчи, отдельным запросом.

Answer 3

[АртемЪ]

Как защитить номер телефона в доске объявлений от парсинга?

Никак. Можно только усложнить парсинг.

1. Для этого есть всякие RuCaptcha и подобные сервисы, подключаемся, отправляем картинку, получем номер. Если не сильно замусоренно будет, то Tesseract все сделает.
2.Это что за блокировка копирования? Если уж вы покажете, то достать не проблема.
3.Тут же обнаружится, что половина пользователей ведут себя неправильно и не видят номер. А парсеры прекрасно работают.

В общем третий вариант это единственный рабочий, но пользователей будет заворачивать не меньше чем ботов.

Есть гарантированно рабочий вариант - показывать телефон только зарегистрированным пользователям. Спрашиваем у пользователя ФИО, номер телефона, регистрируем, и просим 10рублей за просмотр объявления.

как можно защитить такой вид персональных данных как телефонный номер продавца в объявлении

Сам по себе номер не является ПД, и уж точно защите не подлежит - доска объявлений как раз предоставляет услуги по публикации номера, а не по его сокрытию!

Ведь нельзя позволить тупо спарсить номер роботам чтобы номера потом попадали в "черные" базы для спама.

Просто не надо публиковать на досках объявлений телефон, для этого.

Answer 4

[Северное Сияние]

В качестве учебного проекта не надо раздувать из мухи слона. Это первое и самое важное.
Пока на твой сайт не натравлен специальный робот - никто и никогда просто так не распарсит не изображение, ни иные механизмы. А поскольку ты не Авито, то это мнимая защита.

У меня на сайте объявлений вот так сделано по части email-адресов. Запрос уходит вида
/advert/frontend-ajax-get-email/id/110013/hash/8f3... - где последний параметр - хэш от email и соли. Не зная соли (и в целом алгоритма создания хэша) ты не получишь в ответе email, вот пример с невалидным хэшем:
/advert/frontend-ajax-get-email/id/110013/hash/8f3...

это 100% способ защиты от большинства парсеров и ПС.

Comments

[Антон Р.]

не совсем понял метод. У меня на вашем сайте слова "показать" не кликабельны почему то.

[АртемЪ]

Василий Берестов,

Пока на твой сайт не натравлен специальный робот - никто и никогда просто так не распарсит не изображение, ни иные механизмы

Какие роботы??
Банальный браузер запущенный в headless режиме и скриптик на python с подключенным tesseract.

[АртемЪ]

Не зная соли (и в целом алгоритма создания хэша) ты не получишь в ответе email

Это работает только если есть авторизация - а когда есть авторизация на сайте нафиг вообще таким заморачиваться?

Кому нужен такой сервис объявлений, где надо свою почту сообщать для просмотра объявлений?

[Северное Сияние]

Антон Р., что за браузер у вас и какое устройство? стили вообще не работают, судя по скриншоту.

АртемЪ,

Это работает только если есть авторизация

ээ... это всегда работает. Вы о чем вообще? зайдите по ссылкам выше.

[Антон Рейтаровский]

это 100% способ защиты от большинства парсеров и ПС.

И где же защита, если вам нужна эта ссылка на клиенте?