Как защитить SPA от парсинга?

Question

[Valeriu Vodnicear]

Планируем построить SPA на Nuxt/Vue.js на фронте и Laravel для API.
И вопрос защиты от парсинга пока не можем решить.
Есть 2 проблемы, которые мы пытаемся решить:

1. API должен убедиться что запросы получает с сайта, а не из других источников (curl, postman, php).
   
2. Блокировать открытие сайта в эмуляторах браузеров, например ломанный Selenium.
   

Остальные вопросы решает платная защита от CloudFlare.

Comments

[shurshur]

Не бывает "ломанного" Selenium. И никакого "эмулятора браузера" там нет, там самый настоящий браузер, "web driver". Бывает undetected web driver - тот самый браузер, которому патчат те части, которые выдают его запуск в headless-режиме.

Надо понимать, что Selenium изначально создавался вовсе не для того, чтобы обманывать сайты. Его делали для автоматизированного тестирования сайтов при их разработке.

Надёжно отличить curl и postman нельзя вообще никак, потому что эти инструменты делают http-запросы в полно соответствии со стандартами, и если указать там все нужные заголовки по аналогии с браузером, то отличить их от браузера будет нельзя.

Даже Cloudflare ломают, тем более что и Cloudflare работает на статистике запросов, потом показывает капчу и в случае её прохождения выставляется кука, с которой всё опять работает, в том числе для автоматизированной обработки.

Так что сделайте что-нибудь, чтобы это было не особо легко, но слишком глубоко заморачиваться не имеет смысла.

Если ваш бизнес может прогореть от того, что кто-то спарсит ваши данные, значит, это была изначально плохая бизнес-идея.

[Andrei SunnyPh]

Как уже было сказано в комментариях и ответах, спарсить можно все, что пользователь видит в браузере, вопрос только в том, насколько это сложно будет сделать. Если вам нужен SPA, который будет сложно парсить, посмотрите в сторону SPA на чистом Blazor-WebAssembly

[Valeriu Vodnicear]

Andrei SunnyPh, а почему решили что blazor сложнее парсить чем nuxt например?

[shurshur]

Valeriu Vodnicear, видимо потому что wasm типа сложнее обфусцированного js?

Но если использовать совсем тривиальный API безо всякого контроля запросов - это не поможет вообще никак.

Answer 1

[Александр]

Никак, все что вы покажете пользователю - будет распарсено(если в этом будет хоть какой то профит), даже если картинкой отдавать.

Answer 2

[d'Ivan]

Не претендуя на новизну, можно вести учет количества запросов в минуту и по превышению порога начинать вставлять палки в колеса:
вставлять капчи, спрашивать о чем-либо.

Минусы:
1. на рынке есть много решений для обхода популярных препятствий и может найтись решение "под ключ" для частного веб-сайта.
2. вероятность случайной блокировки относительно более "интересующихся" пользователей.
3. учет количества запросов обходится использованием пула прокси.

Магазин с товарами это не спасет и решения противодействию всегда найдутся.

Ваши ресурсы стоит направить на более целесообразную разработку.

Answer 3

[Михаил Р.]

API должен убедиться что запросы получает с сайта а не из других источников (curl,postman,php).

Элементарно.

Блокировать открытие сайта в эумляторов браузеров, например ломанный Selenium.

Selenium это не эмулятор браузеров. "Ломанный" selenium это как?

Остальные вопросы решает платная защита от Cloud Flare.

Не решает, даже Яша и Гугл. Вопрос лишь в стоимости преодоления зашиты, в Вашем случае она находится в диапазоне "дешево-средне".

Либо сделайте официальный api с ограничениями, либо используйте "теневой бан" для ботов и передавайте им информацию средней верности.

Comments

[d'Ivan]

Элементарно.

Если про https://developer.mozilla.org/en-US/docs/Web/HTTP/... , то его ведь можно легко подделать в HTTP клиенте.

[Михаил Р.]

Everything_is_not_so_bad, там куча всего, что можно подделать, это все борьба со школьниками...

[Gip]

шадоубан - самое противное на самом деле, с чем приходится бороться. а для питона у селениума есть ломаный модуль, которы нормально обходит Cloud Flare и иже с ними. А если захотят спарсить то воспользуются каким-нибудь scrapfly и ничего вообще не поможет.

Answer 4

[mayton2019]

А что ценного школьники парсят с вашего сайта?
Предложите подписку за деньги. Пускай платят и качают CSV файлами снапшоты данных.

Нужно сделать безсмысленной саму идею парсинга.

Comments

[Valeriu Vodnicear]

мы так и делаем, хотим защититься от парсинга потому что основной доход компаний от предостовления платного API

[mayton2019]

Valeriu Vodnicear, я не знаю как защищаться от селениума. Может быть какой-то какого-то AI,
который будет анализировать поведение бота и человека и вышибать сеансы людей по ошибке
тоже. Что поделать. Все AI технологии работают с погрешностью.

Попробуйте сами парсить свой сайт и смотрите в логи. Надеюсь разница будет замечена.
А так в целом от кражи контента действительно невозможно защититься если контент
уже виден на экране. Посадят фрилансеров и они будут просто Conrol+C -> Control-V
и копировать в Excel. Ну как тут быть то? Йомаё.

Homo homini lupus est.

[Константин Б.]

Valeriu Vodnicear, не понятно ничего. У вас есть данные которые как бы отдаются платной апишкой. Но при этом есть место где вы отдаёте данные в открытую? Объясните подробнее или пришлите ваш проект посмотреть. Пока выглядит как то что проект нужно защищать в первую очередь от плохих разработчиков хД

[Valeriu Vodnicear]

Константин Б., да примеров могу привести много, самый очевидный это допустим deepl.com, у них есть платный API, но при этом есть такой-же API который отвечает на запросы сайта. Та-же функция перевода доступна и платно и бесплатно.

Answer 5

[Константин Б.]

Все эти защиты можно обойти. Но самое главное что этими защитами вы можете навредить своим пользователям. Повысьте ценность своего проекта и его бренда. Вкладывайтесь в рекламу и развитие, обычно именно это становится основным преимуществом перед конкурентами

Answer 6

[Василий Назаров]

1. никак
2. никак

Comments

[Mikhail Osher]

Поддерживаю. Невозможно защититься от 1 и 2. Не то, что тяжело и кропотильно, а просто невозможно.

Answer 7

[calculator212]

Защититься можно частично и в основном от тех для кого парсинг это не основная сфера деятельсти. В первом случае можете попробовать проверять агенты в заголовках, можно также сделать как делает ютуб/гугл и т.д. сначала загружают основной скрипт, который потом подгружает данные и большинство простых парсеров отваливаются, т.к. запросов слишком много и искать откуда и как берутся данные долго и сложно. От селениума нет особого смысла защищаться, те кому это нужно найдут обходные пути, вероятно простые пользователи будут больше страдать от вашей защиты.
Самый нормальный вариант сделать платное/бесплатное апи, чтобы те кому нужны данные для парсинга не долбили ваш сайт, ну мб простую защиту от новичков имеет смысл сделать

Comments

[Valeriu Vodnicear]

платный API уже есть, вопрос в том как защитить бесплатный