Из-за чего Avito может банить VPS по IP?

Question

[Runderoy]

Есть парсер Авито, написанный на Python
Ещё есть простенький VPS и вагон прокси с высоким уровнем анонимизации

Суть проблемы:
При парсинге с домашнего компа, обновляя прокси при каждом новом запросе, никаких ошибок не получаю.
При парсинге с VPS, Avito банит по IP и выдает 403

Если пригодится для решения, прилагаю список headers

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 OPR/104.0.0.0',
	'Cookie': 'srv_id=rWp94DWsNvBbvl7R.4zePPQBpooaF0Zndk2ESGwGpK2RW3q-dLbRwk6LAc9enyGNIelgZ2QSzw5CIeNxpkZYM.s0IW_m1dNDXMyD7ybOjJOMPiPeuWbc-DQ8LBEurY4Fc=.web; u=2y7uw9nx.q4k4vn.v6fqe6lgmi00; v=1702543725; luri=ulyanovsk; buyer_location_id=659880; _gcl_au=1.1.957336207.1702543728; _ga=GA1.1.835449987.1702543729; SEARCH_HISTORY_IDS=1; f=5.0c4f4b6d233fb90636b4dd61b04726f14f0aa6d4f7157ca44f0aa6d4f7157ca44f0aa6d4f7157ca44f0aa6d4f7157ca42668c76b1faaa3582668c76b1faaa3582668c76b1faaa3584f0aa6d4f7157ca402b7af2c19f2d05c02b7af2c19f2d05c0df103df0c26013a0df103df0c26013a2ebf3cb6fd35a0ac0df103df0c26013a8b1472fe2f9ba6b984dcacfe8ebe897bfa4d7ea84258c63d59c9621b2c0fa58f915ac1de0d034112ad09145d3e31a56946b8ae4e81acb9fae2415097439d4047b5b87f59517a23f246b8ae4e81acb9fa34d62295fceb188dd99271d186dc1cd03de19da9ed218fe2d50b96489ab264edd50b96489ab264ed3de19da9ed218fe246b8ae4e81acb9fa38e6a683f47425a8352c31daf983fa077a7b6c33f74d335cb88de1666d503ec663b0ad70f46873f3eb9e68250eb4bf8bc3434e7422109e8d3f97541eb23627330e28148569569b7992da68789962de075b4bb9d26d6f93f82ebf3cb6fd35a0ac0df103df0c26013a28a353c4323c7a3aefcfb0a8b1110195591e0c2061ce2ddf3de19da9ed218fe23de19da9ed218fe2ddb881eef125a8703b2a42e40573ac3c8edd6a0f40cbfd87da3d420d6cca468c; ft="GypYAXTTtn5Uu6cCOnHuyoYKc7D45u1Fo1mMbRXRImInK0b2GJFZvI/lxpis2X72xonf69ODeHKc/TgdjyEYTq1wOA1XSRcX/jqhOOc98Z2IdTyj7udM5TXZFQLYWH3INAaxm6N/pqFVyqsJmyPlpyC6cWcmdyXzsRGmJUuTlRzxq3Z9Q0QqQkjkKZgZ2Hev"; gMltIuegZN2COuSe=EOFGWsm50bhh17prLqaIgdir1V0kgrvN; _ym_uid=1702543734124798124; _ym_d=1702543734; _ym_isad=2; uxs_uid=9c6d9f50-9a5d-11ee-a751-cde0ebd180ae; _ym_visorc=b; buyer_laas_location=659880; dfp_group=18; yandex_monthly_cookie=true; sx=H4sIAAAAAAAC%2F1zQTXLrIAwA4LuwzkJYIEFuAwj88jyJfxLbhIzv3unCM20v8C2%2Bj0KLVJwJBRA6LCElEetLykI6R1vU9aM2dVX2wXaiO%2B%2F13l6279fUSODxT0ZDrbK6qKyumqEjhA7ccVHoOdnEUpBT0Wy9yR6z0eiCJC14ynO7wX831G0boH8208fbc8Qwj3Xp1w1%2ByogMx0URESVhKp68JUM%2Bc8zohS2kxOJP%2BenulbppGXyrGWSedn7L0N6TiVDW7beM33IM3vguBcpSIFGAKCY4tGBc9iHrU9av3UzLWGvbl%2Fh67OO6AGTn9lV0mKc%2FG3gcXwEAAP%2F%2FVCZVFmkBAAA%3D; _ga_M29JC28873=GS1.1.1702543729.1.1.1702546971.60.0.0',
	'Accept-Language': 'ru-RU,ru;q=0.9',
	'Referer': 'https://www.avito.ru/ulyanovsk/kvartiry/prodam/vtorichka-ASgBAQICAUSSA8YQAUDmBxSMUg?&s=104',
	'Sec-Ch-Ua': '"Chromium";v="118", "Opera GX";v="104", "Not=A?Brand";v="99"'}

Чего я не понимаю и как можно это обойти?

Comments

[mayton2019]

А почему ты решил что он банит по IP?

Answer 1

[CityCat4]

ри парсинге с домашнего компа

Авито видит IP из пула домашних провайдеров РФ и забивает на то, что его парсят - да пусть...

При парсинге с VPS

Авито видит IP из пула хостеров и, предполагает худшее - что это некто забугорный и его - баннн!

Как он это видит - не знаю, может быть все совсем и не так...

Comments

[Runderoy]

ДЦ сервера в Питере...

[Runderoy]

Хотя даже если допустить, что он палит по пулу хостеров, то как он тогда в принципе палит IP через прокси?

[Сергей Горностаев]

Авито в принципе защищается от парсинга, не только из-за бугра. Один из механизмов защиты - бан запросов с хостеров.

[AUser0]

Runderoy, займитесь проверкой, какие header-ы долетают до сервера через эти ваши анонимизированные проксики. С IP этого VPS ни разу Avito в браузере не открывали, а с домашнего компьютера - каждый день да по многу раз?

[Runderoy]

AUser0,

С IP этого VPS ни разу Avito в браузере не открывали, а с домашнего компьютера - каждый день да по многу раз?

Именно так

займитесь проверкой, какие header-ы долетают до сервера через эти ваши анонимизированные проксики

Как?)

[AUser0]

Runderoy,

Как?)

Обратитесь через эти прокси к своему HTTP серверу, на определённый скрипт, который запишет в лог всю информацию о запросе.