Способ обхода CloudFlare 2025?

Question

[flexpc]

Мне необходимо парсить сайт.
Проблема заключается в CloudFlare на входе. Как обойти ее? Я попробовал много способов, но все они не помогают мне обойти защиту. Язык не важен, важен алгоритм. Как мне это сделать? Не предлагайте сторонние API для решения капчи.

Comments

[buzzingbee]

Если локальный скрап для тебя не проблема - попробуй расширение от Webscraper IO. Обходит блокировки в 99% трудных кейсов. https://chromewebstore.google.com/detail/web-scrap...

Answer 1

[Михаил Р.]

Я попробовал много способов, но все они не помогают мне обойти защиту

Какие пробовали?

Язык не важен

Не важен, но скорее всего это будет Python.

важен алгоритм. Как мне это сделать

1. Python + Zendriver + no headless.
2. Открываем отдельный профиль браузера.
3. Заходим на сайт с cloudlfare, ждем загрузки окна капчи, жмем на него, сохраняем куку и попадаем на сайт.

Последующий заход так же выполняем через профиль браузера из п2, cloudflare будет доволен, временно. Ну и про правильный отпечаток браузера + правильный ip я думаю смысла говорить нет.

Язык не важен, важен алгоритм. Как мне это сделать? Не предлагайте сторонние API для решения капчи.

Если с headless и без привязки к Python, то статьи по теме:
- Об одном способе веб-скрапинга сайтов, защищенных ....
- Парсим сайты с защитой от ботов.
- Chrome Headless против cloudflare JS challenge.

Способ рабочий, работает в том или ином виде до сих пор. Тема коммерческая, поэтому ответ без готового решения (да и он не требуется, судя по ТЗ).

Comments

[flexpc]

Спасибо, изучу эти статьи
На самом деле вряд ли это будет питон, он делает это медленно. В моей задаче мне критически важна скорость парсинга страницы, питон и селениум делает это за 200-400мс. Мне бы хотелось быстрее, по этому скорее всего я буду использовать Раст.

[Михаил Р.]

flexpc,

На самом деле вряд ли это будет питон, он делает это медленно

Основная задержка при парсинге страниц, обусловлена операциями ввода вывода (i/o) и задержках самого selenium, а не "медлительностью" python. В некоторых случаях, на python в данной связке уходит 10% времени.

питон и селениум делает это за 200-400мс

Во первых, про selenium я ничего не говорил, во вторых - зависит от страницы, средний отклик на клик в selenium ~100мс, в третьих - selenium практически не ускорить, даже если писать код сразу на ассемблере, в четвертых, в большинстве случаев - cloudflare видит selenium за километр.

Мне бы хотелось быстрее, по этому скорее всего я буду использовать Раст

Желаю добиться хотя бы 20% ускорения, в сравнение с Python.

[flexpc]

Михаил Р., правильно ли я понимаю, что вы предлагаете убрать все input/print. И тогда все будет кайфово? Уверены ли вы что нет смысла использовать Rust? Только Python?
Если получиться, сделаю тесты по приколу, интересно будет посмотреть.

[flexpc]

Михаил Р., Там React, вроде, по-этому я буду использовать Selenium, что бы получать обновлений html, без дополнительного запроса

[Михаил Р.]

flexpc,

правильно ли я понимаю, что вы предлагаете убрать все input/print

Нет, откуда Вы это вообще взяли?

И тогда все будет кайфово?

Это зависит от конкретных веществ ;)

Уверены ли вы что нет смысла использовать Rust? Только Python?

Не совсем, но я бы использовал следующее:
1. Делаем на python mvp, смотрим, работает ли.
2. Если mvp стал окупаться и в нем есть перспективы, то профилировщиком ищем в python узкие места и переписываем их на другой высокоуровневый яп, я бы выбрал java или go. В ином случае - закрываем проект и не ломаем голову.

Почему python и java? - по моим ощущениям, весь парсинг во всем интернете на 80% завязан на эти 2 яп. Selenium вот вообще написан на java, а все самые передовые "обходчики" капчей в первую очередь пишутся на python. Условно, на python собираем страницы, а более высокопроизводительном яп обрабатываем данные на сервере.

[Михаил Р.]

flexpc,

Там React, вроде, по-этому я буду использовать Selenium, что бы получать обновлений html, без дополнительного запроса

Не обновленный, а динамический dom. Используйте zendriver, вместо selenium - получите большую производительность и отклик на действия, примерно в 3-20 раз.

[flexpc]

Михаил Р., zendriver есть под другие яп, кроме python? Типо Java, Go, Rust и др.

[flexpc]

Михаил Р., Просто для Rust есть Fantoccini, как я понял аналог zendriver

[Михаил Р.]

flexpc, под java возможно, под остальные скорее всего нет, либо это поделка, которая не стоит внимания. Можно свою написать, используя CDP, но это уже другой уровень знаний и затрат на поддержку.

[Михаил Р.]

flexpc,

Просто для Rust есть Fantoccini, как я понял аналог zendriver

Нет не аналог, они используют разные протоколы, по раст вижу несколько с аналогичным протоколом, но неизвестно, насколько они хорошо маскируются:
https://github.com/mattsse/chromiumoxide
https://github.com/rust-headless-chrome/rust-headl...
Под go вижу достаточно интересный и популярный (к моему удивлению) аналог https://github.com/chromedp/chromedp, но опять же, не известно, насколько он детектируется.

Answer 2

[VoidVolker]

Найти и купить готовое решение или обратиться на фриланс.

Answer 3

[Vla63]

Вот можно посмотреть

Answer 4

[buzzingbee]

Если локальный скрап для тебя не проблема - попробуй расширение от Webscraper IO. Обходит блокировки в 99% трудных кейсов. https://chromewebstore.google.com/detail/web-scrap...