Как на JAVA парсить onion сайты?

Привет.
Пытаюсь написать парсер сайтов в зоне .onion

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.InetSocketAddress;
import java.net.Proxy;
import java.net.URL;

public class main {
	public static void main(String args[]) {
		
		
		String query = "https://toster.ru";
		HttpURLConnection connection = null;
		try {
			connection = (HttpURLConnection) new URL(query).openConnection();
			connection.setRequestMethod("GET");
			connection.setUseCaches(false);
			//connection.setConnectTimeout(250);
			//connection.setReadTimeout(250);
			connection.connect();
			
			StringBuilder sb = new StringBuilder();
			
			if(HttpURLConnection.HTTP_OK == connection.getResponseCode()) {
				BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream()));
				
				String line;
				while((line=in.readLine()) != null) {
					sb.append(line);
					sb.append("\r");
				}
				
				System.out.println(sb.toString());
			}else {
				System.out.println("Ошибка: "+connection.getResponseCode() + ", "+ connection.getResponseMessage());
			}
		}catch(Throwable cause) {
			cause.printStackTrace();
		} finally{
			if(connection != null) {
				connection.disconnect();
			}
		}
	}

}


Вот что у меня получилось - этот код спокойно парсит сайты в открытой сети интернет. Но домены в зоне onion отказывается видеть.

Как подключить его к сети Tor?
Можно ли сделать это без использования браузера?
  • Вопрос задан
  • 6131 просмотр
Пригласить эксперта
Ответы на вопрос 1
@spaceatmoon
Вот для питона. Сам не пробовал, но понял принцип что вам надо общаться через сокс. Поймете принцип, сделаете и для java

https://jarroba.com/anonymous-scraping-by-tor-network/

Тык
Если не секрет, что вы нашли интересного такого, что приходится парсить? Разве tor не помойка?
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы