По каким критериям Amazon может определять «безголовый браузер»?

Question

[Zimaell]

Вопрос уже стоит не первый день, рылся по некоторым статьям
https://intoli.com/blog/not-possible-to-block-chro...
https://intoli.com/blog/making-chrome-headless-und...
В них якобы описывается как сделать безголовый браузер неотличимым от обычного, все сделал как там описано, по их тестам
https://intoli.com/blog/not-possible-to-block-chro...
https://intoli.com/blog/making-chrome-headless-und...
я прохожу по всем критериям, то что я вижу в браузере по этим тестам то и показывает если я использую безголовый (Puppeteer).
И тем не менее, захожу с одного и того ip с браузера и через безголовый, с браузера нормально логинюсь, а если с безголового то выдает капчу (причем если решить то все равно еще даст), то есть он их различает, вопрос как?
Какие еще могут быть варианты?
Что ему еще нужно отослать?

Думал может куки, но почистил под ноль куки и зашел с обычного браузера нормально.
Или даже если с "чистого" браузера заходить то он что-то все равно может что-то такое слать из-за чего будет отличие?

В общем дело принципа, ищу хоть какие зацепки...

Answer 1

[Иван Шумов]

Зацепок и не будет. Там искусственный интеллект на входе и он собирает огромное число метрик: как с запроса так и с клиента. Не первый раз уже это обсуждаем. Amazon очень хорошо охраняет себя от парсинга

Comments

[Zimaell]

Я знаю что это не раз обсуждалось, но я все же думаю что можно "полностью имитировать" действия обычного браузера.
Если он собирает эти метрики то их так же я думаю можно задать, главное знать что и когда задавать, поэтому я и спрашиваю что и как еще можно задать...
Не думаю что после полной "имитации" он сможет распознавать, если ему давать все точно то же что и даёт браузер...

[Иван Шумов]

Zimaell, невозможно) просто по тому что алгоритмы постоянно меняются. Даже не просто постоянно, а каждый новый пользователь влияет на эти показатели, поэтому за то время что проходит изучение уже все поменялось

[Zimaell]

Иван Шумов, ну с браузера то постоянно заходит нормально, значит есть какая-то последовательность, просто нужно настроить чтобы скрипт работал так же как и браузер...
Как-то это ИИ определяет что это браузер, значит нужно настроить и скрипт так же чтобы он работал как и обычный браузер.
Я считаю что это решаема задача...

[Иван Шумов]

Zimaell, с браузера оно заходит именно по тому что это абсолютно нормально) вы же сами заходите, а с сервера ходит скрипт) задача не решаемая, так что не стоит тратить время. Огромное число людей ломает голову над тем как обмануть алгоритмы Амазона и я вот не слышал еще чтобы кто-то в это прямо таки преуспел) Думаете лучше других?

[Евгений Ромашкан]

Zimaell, Скрипт должен работать не только как браузер, а ещё и как человек как минимум, тогда будет чуть меньше шансов быть отмеченным как бот.

И вообще, вы сами то вообще посмотрели какая инфа отправляется с клиента на сервер и какие запросы идут, или пришли сюда думая что "дядьки с тостера" за вас разберутся?

[Иван Шумов]

Евгений Ромашкан, ссылки посмотри - там смех да и только. Для сайта Васи Пупкина сойдет, но не более

[Zimaell]

Иван Шумов, Я понимаю что для кого-то смех и т.д., не все такие умные, я не говорю чтобы вы за меня писали код, я просто спрашиваю что еще можно посмотреть что можно применить и т.д.

Евгений Ромашкан, Вы имеете ввиду какими данными обмениваются безголовый с амазоном?
В реальном я просматриваю через HTTPheader, в безголовом пока что не знаю как это сделать, если знаете подскажите и тогда я сравню что там и там показывает...

[Иван Шумов]

Zimaell, то есть нет понимания что там будет больше одного http запроса? что будут сниматься показатели через js и что местами там пролезают такие вещи как http2 и все такое. Просто стоит забыть - нужна эмуляция человека

[Zimaell]

Иван Шумов, забить я всегда успею... у меня на данный момент вопрос стоит в том чтобы вручную делать на амазоне каждый день одни и те же действия которые мне приносят прибыть (но при этом много времени уходит на все эти действия), или программно это будет выполняться, так что для меня это дело принципа...
Буду дальше копаться, искать. 2 месяца оно уже у меня работало, значит вариант есть, просто нужно найти подход.
Отговорить вы меня точно не отговорите это факт, лучше что-то полезное подскажите что может помочь в реализации задуманного..

Ах да и я так на всякий случай скажу - ничего неправомерного я не делаю, просто тоже самое что я делаю руками я делаю кодом, причем по времени оно занимает так же само...

[Иван Шумов]

Zimaell, автоматизированная работа с платформой не через их партнерскую программу или api для разработчиков Amazon четко указывает как не легальное взаимодействие с их ресурсом. То есть вы нарушаете правила работы с их сервисом что, хоть и не по государственным законам, но по юридическим документам наказывается. С занесением в грудную клетку, по кошельку, а так же с попаданием в банлист. Amazon как бы не пострадает если забанит подсеть категории C, например. Хотя скорее точечно это произойдет. При чем опять же без участия человека WAF сам организует)

[Zimaell]

Иван Шумов, был бы у них API покупки я бы так не страдал, я бы и рад сделать всё по нормальному, но нет у них API покупки товаров, а покупать несколько сотен товаров вручную сами подумайте какой это гемор...
Если я ошибаюсь или вдруг уже такое появилось то просветите...

[Иван Шумов]

Zimaell, нет не появилось и не появится именно по тому что они не поощряют реселлеров и других подобных автоматизаторов. Из позиция "зачем другим, если это все есть у нас". В общем, держат свою долю рынка.

[Zimaell]

Иван Шумов, так все равно я же покупаю, столько же как и если бы скрипт работал бы...
логика застрелись называется...

[Иван Шумов]

Zimaell, да, но возвращаются они тогда не к ним. То есть они теряют в возвращающихся клиентах, сборе статистики, информации о пользователях, рекламе и ещё много в чем. Поэтому выгоднее от вас всех защищаться. Я их в этом даже поддерживаю - молодцы ребята

[Zimaell]

Иван Шумов, что к кому возвращается?
Вы наверное совсем не знаете как это работает....
В общем я как там торговал так и торгую без изменений, но видать если код не получится написать то просто кого-то нанять чтобы он делал эту рутинную работу...

[Иван Шумов]

Zimaell, прекрасно знаю) спасибо, при чем даже местами изнутри по тому как работаю в тесном сотрудничестве, так сказать)

[Zimaell]

Иван Шумов, Вот поэтому и отговариваете меня, потому что в "тесном сотрудничестве" с ними...
Ничего я продолжу поиски, тем не менее из этого разговора как не странно я получил много полезной информации, хоть и на первый взгляд может показаться что разговор ни о чём...
Работаем дальше... ;)

[Иван Шумов]

Zimaell, в тесном сотрудничестве означает только то что я работаю с AWS как написано во всех моих профилях, а Amazon построен на этой платформе и там нет каких либо "скрытых фич". То есть я знаю как это все устроено в принципе, ну и не ленился смотреть статьи и выступления от Amazon как они боролись с разными вопросами) А вы думайте что хотите, но лично я уверен что вы сломаете об это зубы)

[Zimaell]

Иван Шумов, Уверены (что зубы поломаю...)? Что ж вызов принят...
Мне все равно нечего терять, и нечего на данный момент делать (в плане прибыль то идет)...

P.s. - даже если я буду задавать "тупые" вопросы, я думаю что "поломаю" на данный момент эту систему. Смешно? Может быть... Время покажет...

P.p.s - так всё и работает, кто-то что делает, кто-то ломает, чинит, ломает... и т.д....