Хочу сделать проверку прокси на валид + многопоточность.
Без multiprocessing все работает правильно, а с ней выдаются не полные прокси.
С ней:
Без нее:
def check_prox(proxybase):
for prox in proxybase:
user = fake_useragent.UserAgent().random
proxy = {'http': f'http://{prox}',
'https': f'https://{prox}'}
check_url = 'http://example.com'
try:
requests.get(check_url, proxies=proxy, timeout=3)
except:
print(f'Proxy: {prox} - UNVALID')
continue
else:
print(f'Proxy: {prox} - VALID')
with open('valid_proxy.txt', 'a', encoding='utf-8') as file:
file.write(f'{prox}\n')
with open('proxy.txt', 'r', encoding='utf-8') as file:
check_proxy_base = file.read().split('\n')
if __name__ == '__main__':
pool = Pool(processes=3)
pool.map(check_prox, check_proxy_base)