Как обойти капчу при при парсинге на PHP?

Question

[Valentine5]

Пишу парсер выдачи поиска с использованием Yanedx XML. Разместил парсер на хостинге. Конструкция парсера незамысловата: ссылки на материалы из выдачи попадают в функцию с курлом. Потом srtip_tags($articles), но на первой же ссылке вот:

INSERT INTO u0189754_default.parsed_articles(text,title) VALUES('Фонетика_древнеанглийского_языка', 'Ой!@media only screen and (min-width:651px){body{background-image:url('https://captcha-backgrounds...., что запросы отправляли вы, а не роботНам очень жаль, но запросы с вашего устройства похожи на автоматические. Почему это могло произойти?У вас отключено исполнение JavaScript. По нажатию вы будете направлены на дополнительную проверку. Как включить JavaScript?Я не роботНажмите, чтобы продолжитьYandex SmartCaptcha•Обработка данныхconnect-link-descriptionСайт с информацией об обработке данныхSmartCaptcha нужна проверка пользователяЕсли у вас возникли проблемы, пожалуйста, воспользуйтесь формой обратной связиconst button=document.getElementById("js-button");button.addEventListener("click",function n(t){window.__JS_BUTTON_CLICKED__=!0,this.removeEventListener("click",n,!1)},!1),window.onerror=function(n,t)

Подскажите, пожалуйста, что можно сделать, чтобы спарсить информацию?

Answer 1

[Михаил Р.]

Конструкция парсера незамысловата

Вы действительно думали, что можно просто так прийти и 3 строчками кода спарсить ресурсы, где работают отдельные команды для того, чтобы их не парсили?

Подскажите, пожалуйста, что можно сделать, чтобы спарсить информацию?

Подключить сервис расшифровки капчи. С таким "незамысловатым" скриптом Вам придется достаточно часто пополнять счет этих сервисов :)
На прокси можете не тратиться, ибо Вас будут ловить раньше :)

Comments

[Сергей delphinpro]

Купить/найти сотню-другую прокси и поочередно через них парсить.

[Valentine5]

Подключить сервис расшифровки капчи. С таким "незамысловатым" скриптом Вам придется достаточно часто пополнять счет этих сервисов :)

Что вы имеете в виду?

[Михаил Р.]

Сергей delphinpro, только обновил вопрос про прокси, они ему не помогут )

[Михаил Р.]

Valentine5,

Что вы имеете в виду?

Придется угадать, что Вы имели ввиду...

Подключить сервис расшифровки капчи

Ну очевидно, загуглить "сервис расшифровки капчи", а там я думаю понятно станет.

Вам придется достаточно часто пополнять счет этих сервисов :)

Ловить Вас будут на каждом шагу, соответственно капчу придется разгадывать аналогично часто == быстрее закончатся деньги в этом сервисе.

[GavriKos]

Михаил Р., скорее всего за капчей будет скрываться сайт, который без JS нифига не отдаст инфы

[Михаил Р.]

GavriKos, ну как нифига, а бигдик?

[GavriKos]

Михаил Р., а это да ))) Зачем его ток под капчу спрятали

[Михаил Р.]

GavriKos, ну разрядить баланс "расшифровщика капчей", да и получение пасхалки нужно еще заслужить :)

[Valentine5]

Михаил Р., GavriKos, Сергей delphinpro может, можно просто курл запрос определенным образом настроить и сайт источник не запросит капчу?

[GavriKos]

Valentine5, нет, нельзя.

[Дмитрий]

Valentine5, попробуйте webdriver

[Kao102]

GavriKos, интересно а возможно ли решать капчу с помощью машинного обучения?

[Михаил Р.]

Kao102, а как по Вашему специализированные сервисы это делают? Труд низкооплачеваемых работников гораздо дороже.