Как из java организовать http запросы с использованием различных анонимных прокси?

Question

[Тимур Евгажуков]

Сделал на java парсер, которые собирает данные с определенного сайта, но к сожалению, через какое-то время начинает требовать ввода капчи, более того, в начале блокирует и только через несколько часов отображает эту капчу. Замедление запросов (например, раз в несколько секунд) не помогают. Возможно поможет в таких случаях работать через различные прокси и анонимайзеры, но пока себе не очень представляю через какие сервисы работать и как это запрограммировать на java.

Answer 1

[Дмитрий Александров]

Берете список "разных анонимных" прокси. Дальше просто

Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("ip прокси", ПОРТ_ПРОКСИ));
conn = new URL(urlString).openConnection(proxy);

Answer 2

[al_gon]

Всё так как сказал Дмитрий Александров
Единстевнное не используйте стандартную библиотку она более, чем баги.
Возьмите https://github.com/google/google-http-java-client она тоже не без багов, но их в разы меньше.

Инициализация там такая же:

Builder builder = new NetHttpTransport.Builder();

               try {
			if (doNotValidateCertificate) {
				builder.doNotValidateCertificate();
				builder.setHostnameVerifier(null);
			}
		} catch (final GeneralSecurityException e) {
			throw new IllegalStateException(e);
		}

		if (useProxy) {
			final Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(REV_PROXIES_ONLINE_HOST,
                                      REV_PROXIES_ONLINE_PORT));
			builder = builder.setProxy(proxy);
		}