Как обойти блокировки сайтов?

Question

[valexeich]

Мне нужно часто делать запрос на один url (каждые 10 сек), но сайт после 3-4 запросов меня блочит и дает 429, пробовал менять ip для каждого запроса с помощью tor, но не помогло.

Вот код:

ua = UserAgent()

SOCKS_PORT = 9050

TOR_PATH = os.path.normpath(os.getcwd()+"\\Tor\\tor\\tor.exe")

tor_process = stem.process.launch_tor_with_config(
config = {
    'SocksPort': str(SOCKS_PORT),
    'StrictNodes' : '1',
    'CookieAuthentication' : '1',
    'MaxCircuitDirtiness' : '10',
    'GeoIPFile' : 'https://raw.githubusercontent.com/torproject/tor/main/src/config/geoip'
},
init_msg_handler = lambda line: print(line) if re.search('Bootstrapped', line) else False,
tor_cmd = TOR_PATH
)

PROXIES = {
    'http': 'socks5://127.0.0.1:9050',
    'https': 'socks5://127.0.0.1:9050'
}

url = 'https://steamcommunity.com/market/listings/730/AWP%20%7C%20Atheris%20%28Minimal%20Wear%29/render/?query=&start=0&count=100&currency=18'

for i in range(10):
    response = requests.get("http://ip-api.com/json/", proxies=PROXIES)
    result = response.json()
    print('TOR IP [%s]: %s %s'%(datetime.now().strftime("%d-%m-%Y %H:%M:%S"), result["query"], result["country"]))
    headers = {
        'User-Agent': ua.random
    }
    resp_test = requests.get(url, proxies=PROXIES, headers=headers)
    print(resp_test)
    time.sleep(11)

tor_process.kill()

Вывод:



Подскажите как решаются такие проблемы, может нужен платный прокси или как?

Comments

[Vindicar]

менять ip для каждого запроса с помощью tor, но не помогло

Tor вообще-то не для этого. Выходных узлов мало, они известны, и ряд сайтов их блочит превентивно.
Нужно либо играть по правилам стима, либо иметь 100500 рабочих прокси.

Ну и да, долбить стим маркет раз в 10 секунд... что за игры в высокочастотный трейдинг? Нафига?

[valexeich]

Vindicar, я ищу редкие флоты на определенных предметах, и на первом же предмете после 3 проверок его страниц я получаю 429

[Vindicar]

valexeich, ну так не долби так часто. Лимиты стима придётся определять опытным путём, там может быть число попыток в час, в день и так далее. Допустим, один и тот же IP можно использовать не чаще, чем раз в час - тогда тебе для круглосуточной работы понадобится 360 различных рабочих прокси. И это еще очень щедрая оценка лимитов!

[Jack444]

Раз в 10 секунд это вообще не проблема для любого сайта и тем более для стима. Скорее всего через тор его уже парсят или ддосят поэтому и получаете блок, уберите тор и будет вам счастье.

[valexeich]

Jack444, без тора тоже самое

[Jack444]

valexeich, заголовки с браузера скопипастить попробуй

[CityCat4]

valexeich, Тебя посчитали ботом. Внезапно, да? Поведение живого пользователя заметно отличается от поведения бота - скорость реакции мозга довольно ограничена, если человек специально не сосредоточился. Поведение браузера (в котором не запрещены скрипты) опять же отличается от поведения бота.
Стим распознает бота и отправляет тебя на южные границы Заката (в Аргос или Зингару :) )

Answer 1

[Сергей П]

Вы столкнулись с типичным конфликтом интересов. Видимо стиму не выгодна ваша деятельность и они хотят её осложнить для вас, сделать её для вас дороже.
Это как борьба с читерством.
Никто вам не скажет правил, по которым вас блокируют, иначе вы тут же начнёте их обходить. Более того, чтобы правила не обходили, их рандомизируют, динамически меняют, разносят во времени момент принятия решения о недобросовестности клиента и момент его блокировки, чтобы нельзя было по своим действиям и реакции системы блокирования понять и вычислить правила блокировки. Лаг между этими моментами всячески варьируют, рандомизируют, дают разное число попыток, чтобы осложнить подбор и вычисление граничных критериев системы защиты.

Не факт, конечно, что там именно такая параноидальная и замороченная система, но такое определённо имеет смысл, если надо предотвратить долбёжку и не целевое использование АПИ.

Кстати, по урлу из вашего кода источник дал мне множество раз быстро обновлять страницу. Я не заметил, чтобы там что-то менялось с такой скоростью. Изучите ответ сервера, там есть заголовки, намекающие о времени рекомендуемого кэширования ресурса.

Ещё вы рандомизируете юзер-агент, но возможно имеет смысл притвориться браузером и не скакать по юзер-агентам так уж часто, тем более по рандомным.
Сопоставить запросы между собой можно и при разных адресах, а выходные адреса тора, как вам уже сказали в комментарии к вопросу, немногочисленны и всем известны.