Как и Почему яндекс вычисляет запросы с nodejs?

Question

[loxonazavr]

В общем, делаю запрос с nodejs к яндекс. Парсил яндекс долгое время, но на прошлой неделе что то пошло не так.

Вот мой код:


*на скрине убрал урл, и куки

Пытался очень много на nodejs, разные варианты, брал свежие куки с браузера, все заголовки с браузера, разные библиотеки для запросов. В браузере все работает, а через nodejs выдает капчу...
Попробовал сделать тот же самый запрос через python, получаю нужный контент без блокировки.
У меня вся логика на nodejs и не хотелось бы делать на питоне proxy server...

Вопросы:
Как яндекс вычисляет запросы сделанные через nodejs?
Nodejs как то помечает запросы сделанные через http(s).request?

Comments

[Ivan Yakushenko]

Где код?

[loxonazavr]

Ivan Yakushenko, код на скринах. Может у тебя не подгружаются фото...
На скринах простейшие примеры отправки запросов.

[Владислав Лысков]

loxonazavr, код должен быть не на скринах, а выдложен текстом и обернут в тэг code

[d-sem]

браузер в режиме инкогнито выдает капчу?

[loxonazavr]

d-sem, нет

[loxonazavr]

Капча только только через ноду. И запросы через nodejs не мешают браузеру.

[loxonazavr]

Владислав Лысков, specially for you
урл, и куки в примеррах отсутствуют
Capcha:

const request = require('request');
const axios = require('axios');
axios({
  method: 'GET',
  url: 'https://yandex.ru/',
	headers:{
		"Accept": "application/json, text/javascript, */*; q=0.01",
		"Accept-Language": "ru",
		"Cache-Control": "no-cache",
		"Connection": "keep-alive",
		"Cookie": '',
		"DNT": "1",
		"Host": "yandex.ru",
		"Pragma": "no-cache",
		"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36",
		"X-Requested-With": "XMLHttpRequest",
	}
}).then(function (response) {
	console.log(response);
})
.catch(function (error) {
	console.log(error);
});
request({
	url,
	method: "GET",
	"gzip": true,
	headers: {
		"Accept": "application/json, text/javascript, */*; q=0.01",
		"Accept-Language": "ru",
		"Cache-Control": "no-cache",
		"Connection": "keep-alive",
		"Cookie": ``,
		"DNT": "1",
		"Host": "yandex.ru",
		"Pragma": "no-cache",
		"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36",
		"X-Requested-With": "XMLHttpRequest",
	}
}, (err, _res, body) => {
	console.log(err)
	console.log(err, _res.statusCode, body)
})

Запрос без блокировок от яндекса на python

import requests
url = "https://yandex.ru/"
HEADERS = {
		"Accept": "application/json, text/javascript, */*; q=0.01",
		"Accept-Language": "ru",
		"Cache-Control": "no-cache",
		"Connection": "keep-alive",
		"Cookie": '',
		"DNT": "1",
		"Host": "yandex.ru",
		"Pragma": "no-cache",
		"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36",
		"X-Requested-With": "XMLHttpRequest",
}

resp = requests.request("GET", url, headers=HEADERS)

print(resp)
print(resp.json())

[Владислав Лысков]

loxonazavr, мне твой код нафиг не сдался, выкладывание кода скриншотом запрещено правилами сервиса

[Dimonchik]

"gzip": true,

[loxonazavr]

dimonchik2013, нет, не в этом дело
пытался и с ним и без него

[Lynn «Кофеман»]

Так вам кто-то и рассказал как яндекс со спамерами и парсерами борется. Щаз.

[loxonazavr]

Lynn «Кофеман», ?
Я про то что делаю два одинаковых запроса с node js и python
Абсолютно одинаковых
И только в nodejs капча
Вопрос в том как nodejs палится и как это избежать?