Способ обхода CloudFlare 2025?

Question

[flexpc]

Мне необходимо парсить сайт.
Проблема заключается в CloudFlare на входе. Как обойти ее? Я попробовал много способов, но все они не помогают мне обойти защиту. Язык не важен, важен алгоритм. Как мне это сделать? Не предлагайте сторонние API для решения капчи.

Comments

[buzzingbee]

Если локальный скрап для тебя не проблема - попробуй расширение от Webscraper IO. Обходит блокировки в 99% трудных кейсов. https://chromewebstore.google.com/detail/web-scrap...

Answer 1

[Михаил Р.]

Я попробовал много способов, но все они не помогают мне обойти защиту

Какие пробовали?

Язык не важен

Не важен.

важен алгоритм. Как мне это сделать

1. Playwright + no headless.
2. Открываем отдельный профиль браузера.
3. Заходим на сайт с cloudlfare, ждем загрузки окна капчи, жмем на него, сохраняем куку и попадаем на сайт.

Последующий заход так же выполняем через профиль браузера из п2, cloudflare будет доволен, временно. Ну и про правильный отпечаток браузера + правильный ip я думаю смысла говорить нет.

Язык не важен, важен алгоритм. Как мне это сделать? Не предлагайте сторонние API для решения капчи.

Если с headless и без привязки к Python, то статьи по теме:
- Об одном способе веб-скрапинга сайтов, защищенных ....
- Парсим сайты с защитой от ботов.
- Chrome Headless против cloudflare JS challenge.

Способ рабочий, работает в том или ином виде до сих пор. Тема коммерческая, поэтому ответ без готового решения (да и он не требуется, судя по ТЗ).

Comments

[flexpc]

Спасибо, изучу эти статьи
На самом деле вряд ли это будет питон, он делает это медленно. В моей задаче мне критически важна скорость парсинга страницы, питон и селениум делает это за 200-400мс. Мне бы хотелось быстрее, по этому скорее всего я буду использовать Раст.

[Михаил Р.]

flexpc,

На самом деле вряд ли это будет питон, он делает это медленно

Основная задержка при парсинге страниц, обусловлена операциями ввода вывода (i/o) и задержках самого selenium, а не "медлительностью" python. В некоторых случаях, на python в данной связке уходит 10% времени.

питон и селениум делает это за 200-400мс

Во первых, про selenium я ничего не говорил, во вторых - зависит от страницы, средний отклик на клик в selenium ~100мс, в третьих - selenium практически не ускорить, даже если писать код сразу на ассемблере, в четвертых, в большинстве случаев - cloudflare видит selenium за километр.

Мне бы хотелось быстрее, по этому скорее всего я буду использовать Раст

Желаю добиться хотя бы 20% ускорения, в сравнение с Python.

[flexpc]

Михаил Р., правильно ли я понимаю, что вы предлагаете убрать все input/print. И тогда все будет кайфово? Уверены ли вы что нет смысла использовать Rust? Только Python?
Если получиться, сделаю тесты по приколу, интересно будет посмотреть.

[flexpc]

Михаил Р., Там React, вроде, по-этому я буду использовать Selenium, что бы получать обновлений html, без дополнительного запроса

[Михаил Р.]

flexpc,

правильно ли я понимаю, что вы предлагаете убрать все input/print

Нет, откуда Вы это вообще взяли?

И тогда все будет кайфово?

Это зависит от конкретных веществ ;)

Уверены ли вы что нет смысла использовать Rust? Только Python?

Не совсем, но я бы использовал следующее:
1. Делаем на python mvp, смотрим, работает ли.
2. Если mvp стал окупаться и в нем есть перспективы, то профилировщиком ищем в python узкие места и переписываем их на другой высокоуровневый яп, я бы выбрал java или go. В ином случае - закрываем проект и не ломаем голову.

Почему python и java? - по моим ощущениям, весь парсинг во всем интернете на 80% завязан на эти 2 яп. Selenium вот вообще написан на java, а все самые передовые "обходчики" капчей в первую очередь пишутся на python. Условно, на python собираем страницы, а более высокопроизводительном яп обрабатываем данные на сервере.

[Михаил Р.]

flexpc,

Там React, вроде, по-этому я буду использовать Selenium, что бы получать обновлений html, без дополнительного запроса

Не обновленный, а динамический dom. Используйте zendriver, вместо selenium - получите большую производительность и отклик на действия, примерно в 3-20 раз.

[flexpc]

Михаил Р., zendriver есть под другие яп, кроме python? Типо Java, Go, Rust и др.

[flexpc]

Михаил Р., Просто для Rust есть Fantoccini, как я понял аналог zendriver

[Михаил Р.]

flexpc, под java возможно, под остальные скорее всего нет, либо это поделка, которая не стоит внимания. Можно свою написать, используя CDP, но это уже другой уровень знаний и затрат на поддержку.

[Михаил Р.]

flexpc,

Просто для Rust есть Fantoccini, как я понял аналог zendriver

Нет не аналог, они используют разные протоколы, по раст вижу несколько с аналогичным протоколом, но неизвестно, насколько они хорошо маскируются:
https://github.com/mattsse/chromiumoxide
https://github.com/rust-headless-chrome/rust-headl...
Под go вижу достаточно интересный и популярный (к моему удивлению) аналог https://github.com/chromedp/chromedp, но опять же, не известно, насколько он детектируется.

Answer 2

[VoidVolker]

Найти и купить готовое решение или обратиться на фриланс.

Answer 3

[Vla63]

Вот можно посмотреть

Answer 4

[buzzingbee]

Если локальный скрап для тебя не проблема - попробуй расширение от Webscraper IO. Обходит блокировки в 99% трудных кейсов. https://chromewebstore.google.com/detail/web-scrap...