Как ReCAPTCHA v3 определяет, что бот это бот?

Question

[Space Around]

Как ReCAPTCHA v3 определяет, что бот это бот?
Решил написать бота при помощи phantomjs и библиотеки casperjs, добавил параметр viewport, который 1920х1080, добавил userAgent

spoiler

(Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.86 YaBrowser/20.8.0.903 Yowser/2.5 Safari/537.36)

но score равен 0.1. После этого решил написать бота при помощи selenium + firefox (при том, что указан параметр headless), там score равен 0.3, как так?
Получил куки от 2-ого бота и вставил их в 1-ого (phantomjs). Сеть также пробовал мониторить, но никаких значимых различий между firefox и phantomjs не заметил.

phantomjs

spoiler

var casper = require('casper').create({
    verbose: true,
    logLevel: "debug"
});

phantom.addCookie([
  {
    name: 'evohqq74u',
    value: 'rvavsej8kka27ocdogesqhkj87',
    path: '/',
    domain: 'antcpt.com',
    secure: true,
    httpOnly: true,
    sameSite: 'None'
  },
  {
    name: '_ym_uid',
    value: '159883072824193045',
    path: '/',
    domain: '.antcpt.com',
    secure: false,
    httpOnly: false,
    expiry: 1630366727,
    sameSite: 'None'
  },{
    name: '_ym_d',
    value: '1598830728',
    path: '/',
    domain: '.antcpt.com',
    secure: false,
    httpOnly: false,
    expiry: 1630366727,
    sameSite: 'None'
  },
  {
    name: '_ym_isad',
    value: '2',
    path: '/',
    domain: '.antcpt.com',
    secure: false,
    httpOnly: false,
    expiry: 1598902728,
    sameSite: 'None'
  },{
    name: '_ga',
    value: 'GA1.2.137458170.1598830728',
    path: '/',
    domain: '.antcpt.com',
    secure: false,
    httpOnly: false,
    expiry: 1661902728,
    sameSite: 'None'
  },
  {
    name: '_gid',
    value: 'GA1.2.1709358714.1598830728',
    path: '/',
    domain: '.antcpt.com',
    secure: false,
    httpOnly: false,
    expiry: 1598917128,
    sameSite: 'None'
  },{
    name: '_gat_gtag_UA_86572429_1',
    value: '1',
    path: '/',
    domain: '.antcpt.com',
    secure: false,
    httpOnly: false,
    expiry: 1598830788,
    sameSite: 'None'
  },
  {
    name: '_ym_visorc_40574825',
    value: 'w',
    path: '/',
    domain: '.antcpt.com',
    secure: false,
    httpOnly: false,
    expiry: 1598832528,
    sameSite: 'None'
  }
]);

casper.start();
casper.userAgent('Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.86 YaBrowser/20.8.0.903 Yowser/2.5 Safari/537.36');
casper.viewport(1920, 1080);

casper.thenOpen('https://antcpt.com/rus/information/demo-form/recaptcha-3-test-score.html', function(status) {
    this.wait(5000, function() {
        casper.capture('screenshot.png');
    });
});

casper.run();

selenium + firefox

spoiler

const {Builder} = require('selenium-webdriver');
const firefox = require('selenium-webdriver/firefox');
const until = require('selenium-webdriver/lib/until');

const screen = {
  width: 1240,
  height: 720
};

let option = new firefox.Options().headless().windowSize(screen);

let driver = new Builder()
    .forBrowser('firefox')
    .setFirefoxOptions(option)
    .build();

try {
    driver.get('https://antcpt.com/rus/information/demo-form/recaptcha-3-test-score.html').then(
        () => {

            driver.manage().getCookies()
            .then(result => {
                console.log(result);
            });
        }
    );
}
catch(e) {
    console.log(e);
}

Answer 1

[kocherman]

В selenium над удалять cdc_ переменные
https://stackoverflow.com/questions/33225947/can-a...

Comments

[Space Around]

kocherman, как быть с phantomjs?

[kocherman]

Space Around, phantomjs штука классная. Для phantomjs я бы предложил сменить User-Agent на какой-нибудь такой:

Mozilla/4.0 (compatible; U; MSIE 6.0; Windows NT 5.1)

или такой

Mozilla/4.0 (compatible; MSIE 6.01; Windows NT 6.0)

[Space Around]

kocherman, допустим, а почему это должно помочь? Я свой юзер агент взял когда весь трафик прогонял через fiddler и сам заходил на сайт

[kocherman]

Space Around, потому что у IE6 самая плохая поддержка яваскрипта. От него можно чего угодно ожидать. Где-то это может помочь. По сути phantomjs недалеко от IE6-8 ушел. EcmaScript6 он не умеет. Хотя может сейчас и умеет. Но говорить сайтам об этом не обязательно. Чем древнее версия - тем меньше требований к браузеру.

[Space Around]

kocherman, вообще, большая разница в скорости работы между PhantomJS и Selenium + Firefox?

[kocherman]

PhantomJS раза в 3 быстрее конечно, но в PhantomJS половина страниц не работает.
https://github.com/ariya/phantomjs/graphs/contributors

[Space Around]

kocherman, кстати, нашёл пару статей, которые предположительно описывают работу ReCAPTCHA, а именно по каким критериям определяется score, там помимо userAgent, много других параметров. Мне бы score до 0.7+ поднять, но не совсем понятно как это сделать используя phantomjs. Посоветуете что-то?

[kocherman]

Space Around, Ну как один из вариантов https://anti-captcha.com/mainpage

[Space Around]

kocherman, это решение капчи, а не увеличение score. Бывают сайты, которые получают score и если он меньше 0.3, то просто блокирую доступ к сайту и всё, тут уже не поможет ни rucaptcha, ни, anti-captcha

[kocherman]

Space Around, а здесь ip-шники чекаете?

[Space Around]

kocherman, Вы уже сталкивались с обходом рекапчи и повышением score?

[kocherman]

Space Around, я занимался бонусхастингом, но давно

[kocherman]

Space Around, от качества ip много чего зависит, а также полезным будет менять разрешение экрана.

[kocherman]

Space Around, а если парсите сайт публичный, то самый лучший юзерагент - это представиться ботом Яндекса или Гугля. Тогда контент парсится без капч.

[Space Around]

kocherman, можете дать какие-то контакт, пожалуйста. А то много вопросов

[kocherman]

Я есть в Jami. В поиске внутри клиента можно просто набрать bad либо, если не получится, ключ полностью 88Ac7508081B57cf94aF542e34E75BF2C410D498

[Space Around]

kocherman, я добавил Вас

[kocherman]

Space Around, добавить мало, надо что-то написать

[Space Around]

kocherman, написал

[Space Around]

kocherman,

[kocherman]

Space Around, блин, какие-то с сетью проблемы, сообщения не доставлены. Там должна появиться галочка где кружочек

[kocherman]

Space Around, дело в том, что этот jami работает без серверов, подобно биткоину, ему нужно время на доставку сообщений

[kocherman]

Space Around, давайте я вам напишу, так должно быстрее сконектиться :-)

[Space Around]

kocherman, 99a19261be48165f34eb9c348e5d7896d183622f

[kocherman]

момент

[Space Around]

kocherman, мб в России не работает?

[kocherman]

Space Around, блин, написал вам со всех возможных аккаунтов. Посмотрите пожалуйста, у вас приложение соединено с интернетом? Повторюсь, оно децентрализовано. и чтобы найти маршруты, ему нужно время и немного трафика. Android (как и ios) не даёт приложению работать в фоне, если его не добавить в исключения в меню электропитания. Проще, конечно, установить и написать с компьютера. Или давайте я сейчас зарегистрируюсь где-нибудь. Где можно зарегистрироваться без телефона?

[Space Around]

kocherman, так, я с ПК тогда попробую

[kocherman]

Space Around, в россии должно работать. Как вариант, есть еще tox, токс работает только без регистрации. Но там тоже лучше работать с компьютера. А для андройда есть еще Briar. Но там сверх требования к безопасности. Briar тоже работает только без регистрации.

[kocherman]

Space Around, Я бы зарегистрировался где угодно, но везде требуют принять смс. А я не могу себе позволить пользоваться этим чудом техники. А по интернету ни один мессенжер не регистрирует. :-(

[Space Around]

kocherman, вообщем, я зашёл с компа. Если я не ошибаюсь, то опять ничего не отправляется

[Space Around]

kocherman, может тут https://wickr.com/ ? Я зарегался, только по почте (телефон и доп. почту можно скипнуть)

[Space Around]

kocherman, давайте в Element попробуем перейти, а то Вы мне пишите, я отвечаю, а сообщения не отправляются, тяжело так вести диалог с пингом в 1-2ч. Я уже зарегался, вот ник @spacearound:matrix.org

[Space Around]

kocherman, ты куда пропал?! Что-то случилось?!