Как реализовать случайный выбор прокси перед каждым запросом?

Question

[Олег Петров]

У меня есть код API-запроса

def get_weathermap(self):
        try:
            rq=requests.get(f'api.openweathermap.org/data/2.5/weather?lat=35&lon=139')
            self.is_200(rq)

            res=rq.json()#json.loads(rq.text)
            self.is_success_api(res)
        except:
            print('EXCEPTION: get_weathermap >',sys.exc_info())

Вот нашел инструкцию как делать через прокси
https://stackoverflow.com/questions/8287628/proxie...

Если я правильно понял, то нужно сделать вот так

def get_weathermap(self):
        try:
            http_proxy = "http://108.61.209.46:3128"
            https_proxy = "https://108.61.209.46:3128"
            ftp_proxy = "ftp://108.61.209.46:3128"

            proxyDict = {
                "http": http_proxy,
                "https": https_proxy,
                "ftp": ftp_proxy
            }
            rq=requests.get(f'api.openweathermap.org/data/2.5/weather?lat=35&lon=139', proxies = proxyDict)
            self.is_200(rq)

            res=rq.json()#json.loads(rq.text)
            self.is_success_api(res)
        except:
            print('EXCEPTION: get_weathermap >',sys.exc_info())

Как мне сделать микс прокси перед каждым таким запросом, если у меня их много?
Хочу реализовать перед каждым запросом рандомный прокси и при этом, если запрос был неудачный, то опять выбрать из рандома. Как вписать проверку на удачность запроса?

Comments

[Олег Петров]

Pavel Denisov, Сложность в том, что если прокси не сработает, то я не получаю нужный запрос. Не могу понять как совместить рандом и повтор запроса.

[Олег Петров]

Pavel Denisov, А это идея.
То есть псевдокод примерно такой?
Пока не получили статус удачности запроса выполняем:
Рандом из всех прокси
Get-запрос
If прокси-запрос неудачный, удаляем прокси из списка и возвращаемся вначало

Тогда вопрос в том, как отличить именно то, что именно прокси неудачный, а не то, что сервер вернул нам пустую строку например.
Это ведь по сути то же не успешный запрос, а программа подумает, что прокси плохой и удалит его из списка.
Как можно идентифицировать факт, что именно прокси не дает нам увидеть запрос, а не другая причина?

[lega]

Олег Петров, Я когда-то делал так: если запрос успешный то +1 для прокси, если не успешный то -1, в итоге если по сумме прокси уходил < -10, то он больше не использовался.

[Олег Петров]

lega, Хорошая идея

[Juhani Lahtinen]

lega, Тогда лучше делать им параметры типа

proxys = {
			"prox_1" : {
							"proxy_name" : "p1.proxy.ru",
							"proxy_scope" : 10
						},
			"prox_2" : {
							"proxy_name" : "p2.proxy.ru",
							"proxy_scope" : -3
						}
			}

[alternativshik]

Олег Петров, "как отличить именно то, что именно прокси неудачный, а не то, что сервер вернул нам пустую строку" - http код ответа для битого прокси будет скорее всего далеко не 200, в отличие от пустого успешного ответа от сервера...

[Олег Петров]

alternativshik, а 200 - это означает успешный ответ?

[Олег Петров]

nukler, Почему именно 10 и -3?

Answer 1

[Александр]

Великий рандом:

import random
random.seed()
proxys = ["p1.proxy.ru","p2.proxy.ru","p3.proxy.ru"]
proxy = random.choice(proxys)

Comments

[Олег Петров]

Александр Спасибо за ответ, а как тут вставить проверку на удачность запроса?
Допустим вы выбрали рандомный, но прокси оказалось неподходящее.
Вначале еще нужен цикл:" Пока проверка не станет удачной, повторяем запрос по рандому" ПРавильно?

[Александр]

надо тогда удалять его из списка, чтоб опять не попался. Но надо точно понимать что он не рабочий, а то может у него просто лимит есть.

[Juhani Lahtinen]

Олег Петров, делаете запрос через get и если он пишет вам ошибку (или через try: except и через
if res.status_code != requests.codes.ok: по желанию) выбрасываете его из списка и дальше проверяете прокси свои.
Тут Вы конечно можете ответить, мол а если у моего провайдера интернет пропадет, а если у меня компьютера нет. Но такие вот ситуации.

[Олег Петров]

Александр nukler
Планировал сделать тут цикл, но понял, что это не вариант, вдруг просто запрос по другим причинам не будет проходить, тогда моя программа застрянет навечно в цикле. Я решил пробовать 5 разных прокси, и если нигде не получается, то двигаться дальше.

i = 0
While i < 6:
      random.seed()
      proxys = ["p1.proxy.ru","p2.proxy.ru","p3.proxy.ru"]
      proxy = random.choice(proxys)
      rq=requests.get(f'api.openweathermap.org/data/2.5/weather?lat=35&lon=139', proxies = proxy)
      if res.status_code != requests.codes.ok:
            i = i +1
      else i =6

Я правильно понимаю Вашу идею или есть способ проще?
P.S. Как понять через какой прокси шел запрос при тестировании?

[Juhani Lahtinen]

Олег Петров, Если брать ваш пример то наверное так должно быть

proxys = ["p1.proxy.ru","p2.proxy.ru","p3.proxy.ru"]
retries = len(proxys)

while retries:
	random.seed()
	proxy = random.choice(proxys)
	rq=requests.get(f'api.openweathermap.org/data/2.5/weather?lat=35&lon=139', proxies = proxy)

	if res.status_code == requests.codes.ok:
		break
	retries -=1
else:
	print(f"No proxy find")
	# Что то делаем, к примеру идем спать, или как то проверяем что вообще сеть есть

В целом стоит подумать над доп. параметры для прокси, что бы помечать не работающие прокси и не использовать их при следующих запросах.

[Олег Петров]

nukler, Спасибо, сейчас попробую.

[Juhani Lahtinen]

Олег Петров, Я посмотреть код? Да я говнокодер.

Вот тут подумалось крч и родился говнокод:

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import sys
import os
import time
import requests
import random

def main(argv=sys.argv):
	proxes_db = {
					"prox_1" : {
								"proxy_url" : {
												"http" : "http://uzer:12345@1.1.1.1:3128/",
												"https": "https://uzer:12345@1.1.1.1:3128/"
												}
								},
					"prox_2" : {
								"proxy_url" : {
												"http" : "http://uzer:12345@1.1.1.2:3128/",
												"https": "https://uzer:12345@1.1.1.2:3128/"
												}
								},
					"prox_3" : {
								"proxy_url" : {
												"http" : "http://uzer:12345@1.1.1.3:3128/",
												"https": "https://uzer:12345@1.1.1.3:3128/"
												}
								},
				}

	retries = True
	openweathermap_api_url = "http://api.openweathermap.org/data/2.5/weather"
	data = {
			"appid" : "123456789",
			"lat": "32.055558",
			"lon": "34.756480",
			"units": "metric"
			}

	proxy_keys_list = list(proxes_db.keys())
	
	while retries:
		random.seed()
		
		proxy_now = random.choice(proxy_keys_list)
		
		res_on_owm = requests.get(openweathermap_api_url,proxies = proxes_db.get(proxy_now).get("proxy_url"),params = data)
		
		if res_on_owm.status_code == requests.codes.ok:
			resjson = res_on_owm.json()
			if resjson.get("cod") == 200:
				print("[INFO  ] temp = {a}".format(a = str(resjson.get("main")["temp"])))
				break
		elif res_on_owm.status_code == 401:
			print(f"[INFO  ] Ошибка appid. Проверте appid в личном кабинете https://home.openweathermap.org/api_keys")
			print("[INFO  ] Сообщение сервера. Cod: {a}, Message: {b}".format(a = str(res_on_owm.json().get("cod")),b = str(res_on_owm.json().get("message"))))
			break
		proxy_keys_list.remove(proxy_now)
		
		if len(proxy_keys_list) <= 0:
			print(f"[ERROR ] Список прокси серверов пуст")
			retries = False
			break

		print(f"[INFO  ] Попыток осталось: {len(proxy_keys_list)}, proxy now is {proxy_now}")
			
		time.sleep(2)
if __name__ == "__main__":
	sys.exit(main())

[Олег Петров]

nukler, Как я понял - это функция. А как ее вызвать в конкретном get запросе?

[Олег Петров]

Александр, А если Ваш код представить в виде функции, то как ее нужно вызывать при get-запросе и что она должна возвращать?

[Juhani Lahtinen]

Олег Петров, Ничего не понял.
Если код представить ввиде функции, то он уже в виде функции (main и есть функция) которая ничего не возвращает (но возвращает потому что Питон знаете ли).
По поводу get, не понял, это что вообще?

Вы подробней напишите что хотите попробуем помочь Вашему горю.

[Олег Петров]

nukler, Ну например я имею запрос
r = requests.get('https://api.github.com/events')

Я хочу написать модуль и в нем функцию, которая при вызове в любой запрос будет подставлять Proxy
Например
r =proxyfunction('https://api.github.com/events')

Превратит в r = requests.get('https://api.github.com/events', proxies=proxydist) где proxydist -список прокси

Полдня писал модуль, пил чай и страдал, даже почти получилось, но вечно ошибки не давали мне покоя.
Под конец совсем расстроился и пихнул просто код без всяких модулей в 4 места своей программы, и, о чудо, заработало.
В итоге имею совсем некрасивый код, но РАБОТАЕТ!
Решил в итоге никому его не показывать, а то стыдно, и тайно использовать. =)

[Juhani Lahtinen]

Олег Петров, Главное что у Вас работает и Вы сами это сделаете, остальное я прилагаю.

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import sys
import os
import time
import requests
import random


def proxyfunction(owm_url,owm_data):
	proxes_db = {
					"prox_1" : {
								"proxy_url" : {
												"http" : "http://uzer:12345@1.1.1.1:3128/",
												"https": "https://uzer:12345@1.1.1.1:3128/"
												}
								},
					"prox_2" : {
								"proxy_url" : {
												"http" : "http://uzer:12345@1.1.1.2:3128/",
												"https": "https://uzer:12345@1.1.1.2:3128/"
												}
								},
					"prox_3" : {
								"proxy_url" : {
												"http" : "http://uzer:12345@1.1.1.3:3128/",
												"https": "https://uzer:12345@1.1.1.3:3128/"
												}
								},
				}
				
	proxy_keys_list = list(proxes_db.keys())
	
	while True:
		random.seed()
		proxy_now = random.choice(proxy_keys_list)
		
		try:
			res_on_owm = requests.get(owm_url, proxies = proxes_db.get(proxy_now).get("proxy_url"), params = owm_data, timeout = int(1))
		except requests.exceptions.ConnectTimeout as time_out_sory:
#			Тут можно выводить сообщение по таймауту, а можно не выводить
#			print(f"msg = {time_out_sory}")
			proxy_keys_list.remove(proxy_now)
			
			if len(proxy_keys_list) <= 0:
				return(False)
		else:
			if res_on_owm.status_code == requests.codes.ok:
				resjson = res_on_owm.json()
				if resjson.get("cod") == 200:
					return(resjson)
			elif res_on_owm.status_code == 401:
				return(False)

def main(argv=sys.argv):

	owm_url = "http://api.openweathermap.org/data/2.5/weather"
	owm_data = {
			"appid" : "12345",
			"lat": "32.055558",
			"lon": "34.756480",
			"units": "metric"
			}
	res_from_url = proxyfunction(owm_url, owm_data)
	
	if res_from_url:
		print(res_from_url)

if __name__ == "__main__":
	sys.exit(main())

[Олег Петров]

nukler, Спасибо Вам за труд.
А для чего сделан Return False можно подробней?
Чтобы программа не вылетала, если ответ ничего не вернет?
Просто интересует вопрос, что ответ 401 - это не единственный неудачный исход при запросе. Получается мы должны все возможные варианты тут проверить или может есть какой-то общий Exception, который не даст программе поломаться при любой неудаче через прокси?

[Олег Петров]

nukler, Там есть общий RequestException
Верно ли я понимаю, что если его поставить, то он обработает сразу все возможные ошибки?

[Juhani Lahtinen]

Олег Петров, Это заготовка, Вы можете писать что хотите. Никто не запрещает Вам добавить своих кодов, хоть обкодится и обрабатывать вообще все ошибки в зависимости от настроения.

По поводу кускаreturn(False). Просто при вызове функции может пойти что то не так. Поэтому, есть ответ когда все хорошо, а есть False, который я дальше обрабатываю и в зависимости от того что в результате или пишу ответ или ничего не пишу, можно так написать

res_from_url = proxyfunction(owm_url, owm_data)
	if res_from_url:
		print(res_from_url)
	else:
		print("[ERROR] Данные не получены, действуем по плану Б")

Вы имете в виду вот эту строку?

except requests.exceptions.ConnectTimeout as time_out_sory:

Да Вы можете заменить на except Exception as all_except: в этом случае будут обрабатыватся вообще все ексепшены а не только таймаут. Можно написать так

try:
		res_on_owm = requests.get(owm_url, proxies = proxes_db.get(proxy_now).get("proxy_url"), params = owm_data, timeout = int(1))
	except requests.exceptions.ConnectTimeout as time_out_sory:
#			Тут можно выводить сообщение по таймауту, а можно не выводить
#			print(f"msg = {time_out_sory}")
		proxy_keys_list.remove(proxy_now)
	
		if len(proxy_keys_list) <= 0:
			return(False)
	except Exception as all_except:
#			Тут можно выводить сообщение по всем ошибкам в результате запроса
#			print(f"msg = {all_except}")

Тут более подробно: https://docs.python.org/3/tutorial/errors.html

[Олег Петров]

nukler, Спасибо