Как подобрать и использовать прокси, если ключевой приоритет кол-во запросов в минуту?

Question

[Andrey Volo]

Разрабатываем сервис для работы с криптовалютными биржами. У api бирж есть ограничение на кол-во запросов на IP и на аккаунт. Наш сервис должен делать много запросов с разных аккаунтов. При этом крайне важна скорость(чем меньше время между запросами тем больше прибыли приносит сервис клиентам, 5 секунд между запросами это слишком много например). Как быть? Самый плохой вариант под каждого клиента придется отдельно разворачивать часть приложения или использовать прокси. Мы никогда не работали с прокси. Может ктото направит как лучше это сделать?

Стек: Python, Django, aiohttp

Answer 1

[Владимир Дубровин]

Если у вас все равно ограничение по RPS на стороне биржи, то ключевой приоритет у вас не количество запросов в минуту, а задержки, которые вносит прокси.

Comments

[Andrey Volo]

именно! надеялся на идеи как ускорить взаимодействие с прокси. как правильно их выбрать и т д

[Владимир Дубровин]

Так из вашего поста требования не понятны - сколько надо IP сейчас и в перспективе, должны ли они быть из разных сетей и насколько разных, потребуется ли расширения, в какие тайминги надо уложиться, где находитесь вы и где биржа, какие реально нагрузики по RPS ожидаются. От этого зависит или взять свое железо с многими IP но из близких сетей либо пользоваться услугами прокси с многими исходящими адресами. Если нужны гарантированные тайминги и они должны быть минимальны - то делить железо с кем-то нельзя и надо поднимать все на своем железе, VPS/VDS не подойдут, надо брать нормальный колокейшн и находиться он должен либо рядом с вами, либо рядом с биржей либо по пути трафика между вами и биржей. Если у вас допустимо +- 100 миллисекунд, то особо беспокоиться вообще не о чем, вам практически любое стабильное решение подойдет (кроме бесплатных проксей и проксей через ботнеты).

[Andrey Volo]

Собственно хотелось совета о каких либо готовых решениях которые стабильны

В первой версии продукта нужна возможность обслуживать до 100 клиентов(100 ip соответственно)
Наша текущая скорость - до 25 запросов в минуту, впринципе она нас устраивает(но если возможно сделать больше, это будет очень полезно). На биржах стоит много ограничений, некоторые биржи например требуют 2хсекундной паузы между запросами
По расстоянию, мы пока не пробывали размещать сервер рядом с биржей. Пинговали ее из нескольких мест и разница между пингом из Украины в Аризону и из соседнего штата незначительна

[Владимир Дубровин]

При ограничении на запрос раз в две секунды вряд ли имеют значение миллисекунды задержки. Используйте любой прокси-сервис предоставляющий большое количество внешних IP, их много ищется. Или попробуйте переопубликовать вопрос с рекомендациями именно по прокси-сервисам.

Answer 2

[Артем Советников]

Покажите биржу и покажите какие данные надо собирать.
В Веб-интерфейсе как часто данные обновляются? Можно снимать их, если они обновляются чаще чем API позволяет их забирать.

В своё время намучался с использованием прокси в Python ... SocksiPy наиболее внятное решение, но их несколько версий и уже не помню какую брал, да и то пришлось дорабатывать, если надо пишите, дам свою версию проверенную.

Comments

[Andrey Volo]

Спасибо за ответ
По биржам, в первую очередь:
Binance
Bitfinex
Poloniex
Kraken
У нас арбитражный сервис, и нужно будет много бирж

[Артем Советников]

Ищите где у них Веб-инетерфейс для трейдеров, с быстрым обновлением, с него снимите данные.
Мне пока некогда по ним лазить.