Ошибка: SSL: TLSV1_ALERT_DECODE_ERROR в ubuntu (python) как исправить?

Question

[Иван Акимов]

Всем здравствуйте.
Вопрос такой:

req = Request(url, headers={'User-Agent': 'Mozilla/5.0'})
webpage = urlopen(req)

выдает ошибку при запуске скрипта в Ubuntu (из Windows все прекрасно):

Traceback (most recent call last):
  File "/usr/lib/python3.10/urllib/request.py", line 1348, in do_open
    h.request(req.get_method(), req.selector, req.data, headers,
  File "/usr/lib/python3.10/http/client.py", line 1282, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "/usr/lib/python3.10/http/client.py", line 1328, in _send_request
    self.endheaders(body, encode_chunked=encode_chunked)
  File "/usr/lib/python3.10/http/client.py", line 1277, in endheaders
    self._send_output(message_body, encode_chunked=encode_chunked)
  File "/usr/lib/python3.10/http/client.py", line 1037, in _send_output
    self.send(msg)
  File "/usr/lib/python3.10/http/client.py", line 975, in send
    self.connect()
  File "/usr/lib/python3.10/http/client.py", line 1454, in connect
    self.sock = self._context.wrap_socket(self.sock,
  File "/usr/lib/python3.10/ssl.py", line 512, in wrap_socket
    return self.sslsocket_class._create(
  File "/usr/lib/python3.10/ssl.py", line 1070, in _create
    self.do_handshake()
  File "/usr/lib/python3.10/ssl.py", line 1341, in do_handshake
    self._sslobj.do_handshake()
ssl.SSLError: [SSL: TLSV1_ALERT_DECODE_ERROR] tlsv1 alert decode error (_ssl.c:997)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "***/parsing/rosreestr/app.py", line 623, in <module>
    status_check(driver=driver)
  File "***/parsing/rosreestr/app.py", line 171, in status_check
    prepare_documents(req_number, service)
  File "***/parsing/rosreestr/app.py", line 230, in prepare_documents
    webpage = urlopen(req)
  File "/usr/lib/python3.10/urllib/request.py", line 216, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib/python3.10/urllib/request.py", line 519, in open
    response = self._open(req, data)
  File "/usr/lib/python3.10/urllib/request.py", line 536, in _open
    result = self._call_chain(self.handle_open, protocol, protocol +
  File "/usr/lib/python3.10/urllib/request.py", line 496, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.10/urllib/request.py", line 1391, in https_open
    return self.do_open(http.client.HTTPSConnection, req,
  File "/usr/lib/python3.10/urllib/request.py", line 1351, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: TLSV1_ALERT_DECODE_ERROR] tlsv1 alert decode error (_ssl.c:997)>

Не понимаю, что делать, в интернете вообще толкового ничего не нашел.
Пробовал отключить првоерку сертификата, тогда выдавало внутреннюю ошибку SSL
Как решить данную проблему?

Comments

[Даниил Рыжов]

На Ubuntu версия Python 3.10
Версия Python на Windows?
Версия TLS сертификата?
Если версия TLS < 1.2 возможно ваша проблема в этом: Python bugs: Increase security of TLS settings in 3.10

[Иван Акимов]

Доброе утро.
На Windows 3.9 (Разные версии от невнимательности, поправлю)
TLS версия 1
Про баг обязательно почитаю

[Иван Акимов]

Даниил Рыжов, Если можно, еще помогите, добавил в код:

if ssl is not None:
                    ssl_context = ssl._create_unverified_context()
                    ssl_context.set_ciphers("DEFAULT")
                    ssl_context.maximum_version = ssl.TLSVersion.TLSv1

Стало выдавать ошибку:

ssl.SSLError: [SSL: NO_PROTOCOLS_AVAILABLE] no protocols available (_ssl.c:997)

[Даниил Рыжов]

Иван Акимов,
Можно попробовать, но ничего не обещаю

try:
    from ssl import PROTOCOL_TLS as default_ssl_protocol
except ImportError:
    from ssl import PROTOCOL_SSLv23 as default_ssl_protocol

ssl_context = default_ssl_protocol

Скорее всего если на 3.9 все работает, а на 3.10 нет, то обязательно прочитайте ссылку выше, в 3.10 отказываются от использования TLS версии ниже 1.2.
Заметил, что проект у вас называется rosreestr, у Росреестра сертификат от DigiCert, который в марте отзывал у санкционных организаций свои TLS сертификаты, проблема также может быть в этом. Отзывался ли у Росреестра не знаю
Также Certificate Transparency не может найти сертификат, отпечаток которого они передают.
Пост на хабре: Фантастические админы и где они обитают
Там обсуждается другой сертификат, не текущий, который передается их сайтом сейчас.
По фингерпринту текущий их сертификат найти невозможно.

Скорее всего получится отключив проверку ssl.
В aiohttp так:

aiohttp.ClientSession(
            connector=aiohttp.TCPConnector(verify_ssl=False)
        )

Какой в других не знаю

[Даниил Рыжов]

Иван Акимов, Пример поиска сертифката по фингерпринту SHA-256 crt.sh (qna.habr.ru fingerprint)

[Arahitogami]

Иван Акимов, думаю не актуально уже объяснять ошибку. Но могу сказать, что протокол был выбран не верный в этой части ssl_context.maximum_version = ssl.TLSVersion.TLSv1, там у росреестра вроде как TLSv1_2.

Могу сказать, что работает так в python 3.10 и 3.11, это как раз решение из статьи что указали ранее:
import aiohttp
import ssl

ssl_context = ssl.create_default_context(cafile='сертификат сайта.pem') # Либо без сертификата.
ssl_context.set_ciphers("DEFAULT")
ssl_context.maximum_version = ssl.TLSVersion.TLSv1_2

И дальше:
async with aiohttp.ClientSession(
connector=aiohttp.TCPConnector(ssl=ssl_context),
) as session:
pass