Как правильно кодировать «неправильный» URL?

Question

[My1Name]

Как правильно кодировать ссылки, которые сочленены с нескольких языков? Например

https : // afisha.orbita.co.il/announce/Театр-Габима-Дело-всей-жизни

Первая часть ссылки (доменное имя и каталог на английском), а конечная страница на русском. Такую ссылку нельзя целиком передать в URLEncoder. Сначала нужно определить, какая часть ссылки должна быть закодирована, разделить её на части, закодировать в данном случае "Театр-Габима-Дело-всей-жизни", а потом конкатенировать и только в таком виде можно создать правильный URL. И вот вопрос: Как программными средствами, определить нужно ли кодировать ссылку, и если нужно, то какую её часть?

Comments

[My1Name]

Из расчёта на один язык (например только русский), можно проверять ссылки на наличие символов в диапазоне в соответствии с ASCII. А как быть с остальными? - Или же наоборот, нужно проверять имеются ли символы в диапазоне, отличающемся от англ. языка?

Answer 1

[Dmitry Roo]

import org.springframework.web.util.UriUtils;

class Main {
    public static void main(String[] args) {
        var path = "announce/Театр-Габима-Дело-всей-жизни";
        var pathEncoded = UriUtils.encodePath(path, "UTF-8");
        System.out.println("https://afisha.orbita.co.il" + pathEncoded);
// https://afisha.orbita.co.ilannounce/%D0%A2%D0%B5%D0%B0%D1%82%D1%80-%D0%93%D0%B0%D0%B1%D0%B8%D0%BC%D0%B0-%D0%94%D0%B5%D0%BB%D0%BE-%D0%B2%D1%81%D0%B5%D0%B9-%D0%B6%D0%B8%D0%B7%D0%BD%D0%B8
    }
}

Comments

[My1Name]

А как быть с такими "https :// ניהולמוניטין.co.il" ? Через браузер, в адресной строке я вижу это. А если вы попробуете скопировать url, то в результате получите ссылку следующего вида "https : // www. xn--8dbcambdbusobg. co. il/"

[Dmitry Roo]

My1Name, да почти так же:

var host = UriUtils.encodeHost("ניהולמוניטין.co.il", StandardCharsets.UTF_8);

url собирается из протокола, хоста, порта, пути и параметров запроса.

[My1Name]

Dmitry Roo, UriUtils.encodePath(path, "UTF-8"); - работает. А второй вариант не работает.

[Dmitry Roo]

My1Name, что значит "не работает" ? Не кодирует?

[My1Name]

Dmitry Roo, Кодирует, но связи через HttpURLConnection с сервером нет. InetAddress.getByName(); - выдаёт исключение по такому адресу.

[Dmitry Roo]

My1Name, хоть покажите что там у вас получилось

[My1Name]

Dmitry Roo, а что показать? :) Получилась ссылка: https :// %D7%A0%D7%99%D7%94%D7%95%D7%9C%D7%9E%D7%95%D7%A0%D7%99%D7%98%D7%99%D7%9F.co.il и java.net.UnknownHostException Первая ссылка, с русским языком, получилась как у вас и всё работает.

[Dmitry Roo]

My1Name, а в браузере она работает?

[My1Name]

Dmitry Roo, Да. В адресной строке вижу ссылку https :// ניהולמוניטין.co.il а при попытке её скопировать, в памяти получается https : // www. xn--8dbcambdbusobg. co. il/

[сергей кузьмин]

My1Name, может это потому что 301

curl -I https :// ניהולמוניטין.co.il

HTTP/2 301
content-type: text/html; charset=UTF-8
expires: Fri, 11 Nov 2022 20:24:38 GMT
cache-control: max-age=3600
x-redirect-by: WordPress
location: https://www.xn--8dbcambdbusobg.co.il/
date: Fri, 11 Nov 2022 19:24:38 GMT
server: LiteSpeed
vary: Accept-Encoding
alt-svc: h3=":443"; ma=2592000, h3-29=":443"; ma=2592000, h3-Q050=":443"; ma=2592000, h3-Q046=":443"; ma=2592000, h3-Q043=":443"; ma=2592000, quic=":443"; ma=2592000; v="43,46"

[My1Name]

сергей кузьмин,

В адресной строке вижу ссылку https :// ניהולמוניטין.co.il а при попытке её скопировать, в памяти получается https : // www. xn--8dbcambdbusobg. co. il/

General (Header)

Request URL: https://www.xn--8dbcambdbusobg.co.il/
Request Method: GET
Status Code: 304
Referrer Policy: strict-origin-when-cross-origin

- Кстати, таких сайтов достаточно много в интернете. На сколько я понимаю - это какой-то прокси... Нашёл случайно. Вот ещё подобный случай (301 редирект): https :// mäklararvode.se

[Dmitry Roo]

My1Name, с урлом то все тип-топ. Вам надо научиться редиректы обрабатывать.

[сергей кузьмин]

My1Name ok гугл - www.xn--8

https://stackoverflow.com/questions/9724379/xn-on-...

IDNA encoding; i.e. converting your unicode domain name to its ASCII equivalent which has to be done as DNS is not unicode-aware.

The xn-- says "everything that follows is encoded-unicode".

[My1Name]

Dmitry Roo,

Вам надо научиться редиректы обрабатывать.

Как можно обработать редирект "недействительного" адреса? Чтоб узнать Location, нужно запросить хотя-бы Header... Попробуйте создать URLConnection с таким адресом. Вы получите UnknownHostException
сергей кузьмин,

DNS не поддерживает Unicode

Так что нужно сделать, или как обратиться к такому узлу? UriUtils и URLEncoder в данном случае не поможет. Как правильно кодировать «неправильный» URL? - Заглавие вопроса.

[сергей кузьмин]

My1Name, если бы передо мной стояла это задача то я б начал прям с википедии

https://ru.wikipedia.org/wiki/IDN#%D0%A0%D0%B5%D0%...

[My1Name]

сергей кузьмин, Спасибо. Помогло java.net.IDN.toASCII("ניהולמוניטין.co.il");

[сергей кузьмин]

My1Name, скопировал в "ответы" - помогло - отметьте решением

Answer 2

[сергей кузьмин]

это

https://ru.wikipedia.org/wiki/IDN#%D0%A0%D0%B5%D0%...

https://docs.oracle.com/javase/7/docs/api/java/net...

Provides methods to convert internationalized domain names (IDNs) between a normal Unicode representation and an ASCII Compatible Encoding (ACE) representation


примеры кода
www.java2s.com/example/java-api/java/net/idn/index.html

Answer 3

[Сергей Горностаев]

https://docs.oracle.com/javase/tutorial/i18n/netwo...

Answer 4

[PROInteriorDesign]

Я использую это https://www.design-sites.ru/utility/url-encoding.php

Comments

[PROInteriorDesign]

Кстати, если надо список ссылок обработать с помощью этого сервиса, то ссылки разделяю + без пробелов, а далее с помощью ворда или texter обратно в список с новой строки. Другого способа пока не придумал.