Как получить страничку сервера подождав (обойти) CloudFlare Checking if the site connection is secure?

Question

[fastboot]

Я мониторю данные с сервера и отправляю обновление себе в телеграмм, но скрипт перестаёт работать -

Checking if the site connection is secure
тут_указан_домен needs to review the security of your connection before proceeding.
Ray ID: 76a28142a9fd77c1
Performance & security by Cloudflare

$UNIT = CURL_INIT();
		CURL_SETOPT($UNIT, CURLOPT_SSL_VERIFYPEER, FALSE );
		CURL_SETOPT($UNIT, CURLOPT_URL, $URL );
		CURL_SETOPT($UNIT, CURLOPT_RETURNTRANSFER, 1 );
		CURL_SETOPT($UNIT, CURLOPT_USERAGENT, $USERAGENT.$USERAGENT );
		$HTML = CURL_EXEC($UNIT);
		CURL_CLOSE($UNIT);

Кто подскажет и даст совет с работой получение данных с сайтов.

Comments

[Дмитрий]

Клауд счел вас ботом. Вы попалились.
Варианты:
1. попросить владельца сайта внести ваш ип в белый лист
2. прятаться за прокси снижать нагрузку с одного айпи и прочее.
3. посмотреть как именно cloudflare защищается - и попробовать эмулировать. раньше он кажется грузил jsом какие то данные и отправлял запрос уже с ними - есть данные не бот, нет данных - бот. но как сейчас не знаю.

Answer 1

[zkrvndm]

Я обычно в таких случаях использую самописное браузерное расширение, которое раз N минут / часов получает валидные куки и отсылает их на мой сервер, а там на сервере используя эти куки можно свободно парсить данные.

Answer 2

[WitER]

Воспользуйтесь selenium, и не придётся изобретать велосипед