Как подобрать и использовать прокси, если ключевой приоритет кол-во запросов в минуту?
Разрабатываем сервис для работы с криптовалютными биржами. У api бирж есть ограничение на кол-во запросов на IP и на аккаунт. Наш сервис должен делать много запросов с разных аккаунтов. При этом крайне важна скорость(чем меньше время между запросами тем больше прибыли приносит сервис клиентам, 5 секунд между запросами это слишком много например). Как быть? Самый плохой вариант под каждого клиента придется отдельно разворачивать часть приложения или использовать прокси. Мы никогда не работали с прокси. Может ктото направит как лучше это сделать?
Стек: Python, Django, aiohttp
Если у вас все равно ограничение по RPS на стороне биржи, то ключевой приоритет у вас не количество запросов в минуту, а задержки, которые вносит прокси.
Так из вашего поста требования не понятны - сколько надо IP сейчас и в перспективе, должны ли они быть из разных сетей и насколько разных, потребуется ли расширения, в какие тайминги надо уложиться, где находитесь вы и где биржа, какие реально нагрузики по RPS ожидаются. От этого зависит или взять свое железо с многими IP но из близких сетей либо пользоваться услугами прокси с многими исходящими адресами. Если нужны гарантированные тайминги и они должны быть минимальны - то делить железо с кем-то нельзя и надо поднимать все на своем железе, VPS/VDS не подойдут, надо брать нормальный колокейшн и находиться он должен либо рядом с вами, либо рядом с биржей либо по пути трафика между вами и биржей. Если у вас допустимо +- 100 миллисекунд, то особо беспокоиться вообще не о чем, вам практически любое стабильное решение подойдет (кроме бесплатных проксей и проксей через ботнеты).
Собственно хотелось совета о каких либо готовых решениях которые стабильны
В первой версии продукта нужна возможность обслуживать до 100 клиентов(100 ip соответственно)
Наша текущая скорость - до 25 запросов в минуту, впринципе она нас устраивает(но если возможно сделать больше, это будет очень полезно). На биржах стоит много ограничений, некоторые биржи например требуют 2хсекундной паузы между запросами
По расстоянию, мы пока не пробывали размещать сервер рядом с биржей. Пинговали ее из нескольких мест и разница между пингом из Украины в Аризону и из соседнего штата незначительна
При ограничении на запрос раз в две секунды вряд ли имеют значение миллисекунды задержки. Используйте любой прокси-сервис предоставляющий большое количество внешних IP, их много ищется. Или попробуйте переопубликовать вопрос с рекомендациями именно по прокси-сервисам.
Покажите биржу и покажите какие данные надо собирать.
В Веб-интерфейсе как часто данные обновляются? Можно снимать их, если они обновляются чаще чем API позволяет их забирать.
В своё время намучался с использованием прокси в Python ... SocksiPy наиболее внятное решение, но их несколько версий и уже не помню какую брал, да и то пришлось дорабатывать, если надо пишите, дам свою версию проверенную.
Простой
