Почему busybox wget не работает, пока не запустить вручную openssl?

Question

[junecover]

Захотелось глубже вникнуть в устройства линукса.
Собрал минимальную систему, состоящую из ядра 6.13, initrd, busybox и openssl. Всё из исходников из оф.сайтов. Всё дефолтное.
Больше ничего.
Заметил такую странность:
Команда wget на какой-нибудь https, ну например такая:
$ wget --no-check-certificate https://ya.ru
заканчивается неудачей и сообщением "Connection reset by peer"

Но если я один раз введу команду:
$ openssl s_client -connect ya.ru:443 -servername ya.ru
то после этого wget прекрасно скачивает и с яндекса, и с любых других сайтов. Это работает до перезапуска линукса. Затем снова приходится выполнять openssl чтобы заработал wget.
Нигде винтернетах не видел такую проблему. Везде пишут, мол просто установи openssl и wget сам сделает всё остальное.

Из-за чего это происходит?

IP российский белый, никаких прокси.

Comments

[shurshur]

Рекомендую попробовать эксперимент с openssl без параметра servername. Если wget после этого сломается - то вероятно это потому что wget не передаёт SNI и его блочит РКН, а после вызова openssl с SNI он на какое-то время попадает в белый список DPI и начинает работать.

[junecover]

shurshur, я попробовал:

~ # echo "Q" | openssl s_client -connect ya.ru:443 2>/dev/null
~ # wget --no-check-certificate https://ya.ru
Connecting to ya.ru (77.88.55.242:443)
Connecting to ya.ru (5.255.255.242:443)
saving to 'index.html'
index.html           100% |********************************|  320k  0:00:00 ETA
'index.html' saved

То есть оно всё равно работает.
Однако было бы странно, если бы РКН блочил Яндекс.

[rPman]

если бы проблема была бы в dpi провайдера, то работоспособность не зависила бы от перезапуска машины, а тут буквально с перезапуском перестает работать, а после запуска openssl работает, т.е. openssl что то меняет на машине в оперативной памяти

[shurshur]

junecover, РКН блочит не Яндекс а отсутствие SNI - это единственный способ, которым они могут побороть ECH.

Я в целом не ожидал что эта версия прокатит, но стоило попробовать.

[rPman]

на всякий случай спрошу еще раз, пробовал ли с другими провайдерами и странами? пробовал ли другие сайты? пробовал ли подбирать https сайты с разными типами шифрования?

можешь поделиться образом kvm для самостоятельных тестов?

[junecover]

>пробовал ли с другими провайдерами и странами?
Нет, не пробовал. Провайдер один, страна одна. Других не имею.
>пробовал ли другие сайты?
Пробовал debian.org. Тоже самое.
>пробовал ли подбирать https сайты с разными типами шифрования?
Нет, не пробовал. А их вообще можно как-то различить на глаз?
>можешь поделиться образом kvm для самостоятельных тестов?
Есть Image.gz и rootfs.cpio, запускающиеся в QEMU. Могу отправить архивом, если скажете куда.

[rPman]

junecover, бесплатных облачных хранилищ десятки, выбирайте на ваш вкус, например https://mega.io/ru/pricing

[junecover]

rPman, особо ни на что не рассчитываю, но вдруг всё же вам или кому-то другому будет интересно взглянуть.
Публикую архив с этим линуксом на Яндекс-диске
https://disk.yandex.ru/d/EB9OWQmyEdSFjQ
В архиве ядро, корневая фс, init и краткое описание как это запустить в QEMU.

Answer 1

[junecover]

Сам спросил, сам и отвечу.
Лишний раз подтвердилась народная мудрость, чтобы найти ответ, надо правильно сформулировать вопрос. Гугл помог найти решение по запросу "busybox wget is shitty". Я не силён в английском, поэтому не стану углубляться семантику этих слов. Кому надо, тот сам поймёт.

Теперь ближе к теме.

У busybox wget есть давняя неисправнось в некой сущности "Support HTTPS using internal TLS code". Попросту говоря эта часть безнадёжно устарела и не работает в 2025 году.
Решение проблемы:
Скомпилировать busybox с отключённой опцией

-> Networking Utilities
    -> wget (41 kb) (WGET [=y])
      FEATURE_WGET_HTTPS [=n]

и со включённой опцией "Try to connect to HTTPS using openssl"

-> Networking Utilities
    -> wget (41 kb) (WGET [=y])
      FEATURE_WGET_OPENSSL [=y]

И ещё добавить алиас:
alias wget='wget --no-check-certificate'
Тогда busybox-овский wget станет сам без лишних пинков работать с https.

Почему так? Ве́домо только разработчикам busybox.

Comments

[shurshur]

Только отказаться от проверки сертификатов явно не лучшая идея. Правильнее разобраться с тем, чтобы нужные сертификаты попали в образ.

[Vitaly Karasik]

Все так, но это не объясняет почему работает после запуска openssl_client.

Answer 2

[rPman]

По больше бы таких интересных вопросов.

Задал ваш вопрос openai:o1-preview, ответ выглядит очень логичным:

Вызвано недостаточной энтропией в генераторе случайных чисел (RNG) вашей минимальной системы.

В системах Linux безопасные операции, такие как установление SSL/TLS-соединений, требуют случайных чисел, сгенерированных из системного пула энтропии.
В вашей минимальной системе очень мало активности для генерации энтропии (например, нет дискового ввода-вывода, сетевой активности, пользовательского ввода), поэтому пул энтропии мал.

Когда `wget` пытается установить HTTPS-соединение, он полагается на эту энтропию. Если ее недостаточно, библиотека SSL не может сгенерировать необходимые случайные значения, что приводит к сбоям соединения, таким как «Сброс соединения одноранговым узлом».
...
Когда вы запускаете `openssl s_client`, он выполняет операции, которые помогают накапливать энтропию.

**Как это исправить:**

1. **Убедитесь, что `/dev/random` и `/dev/urandom` существуют:**
- Убедитесь, что в вашей системе есть эти устройства:
```sh
ls -l /dev/random /dev/urandom
```
- Если их нет, создайте их:
```sh
mknod -m 666 /dev/random c 1 8
mknod -m 666 /dev/urandom c 1 9
```

2. **Заполните пул энтропии при запуске:**
- **Используйте демон сбора энтропии:**
- Включите в свою сборку такой инструмент, как `haveged` или `rng-tools`. Эти демоны генерируют энтропию на основе таймеров или аппаратных ГСЧ.
- Например, с `haveged`:
- Скомпилируйте и установите `haveged` в свою систему.
- Запустите его при запуске:
```sh
haveged -w 1024
```
- **Ручное заполнение энтропии (менее безопасно):**
- Если добавление демона невозможно, вы можете вручную заполнить энтропию (обратите внимание, что это менее безопасно и не рекомендуется для производства):
```sh
dd if=/dev/urandom of=/dev/random bs=1 count=512
```
- Эта команда записывает случайные данные обратно в `/dev/random`, помогая заполнить пул энтропии.

3. **Проверьте уровни энтропии:**
- Отслеживайте доступную энтропию:
```sh
cat /proc/sys/kernel/random/entropy_avail
```
- Значение ниже 100 может привести к блокировке или сбою операций SSL.

4. **Используйте аппаратный генератор случайных чисел (если доступен):**
...

Посмотри, что показывает cat /proc/sys/kernel/random/entropy_avail

Comments

[junecover]

Спасибо, что попытались помочь.
Я попробовал некоторые рекомендации:
0. Проверил наличие генератора случайных чисел. Как не трудно догадаться, этот экземпляр линукса работает в виртуалке. В конфиге ядра указан HW_RANDOM_VIRTIO [=y]

-> Device Drivers 
    -> Character devices
      -> Hardware Random Number Generator Core support (HW_RANDOM [=y])
        -> VirtIO Random Number Generator support (HW_RANDOM_VIRTIO [=y])

1. Проверил уровень энтропии сразу после запуска.
cat /proc/sys/kernel/random/entropy_avail даёт 256

2. Создал узлы:

mknod -m 666 /dev/random c 1 8
mknod -m 666 /dev/urandom c 1 9

3. Заполнил энтропию:
dd if=/dev/urandom of=/dev/random bs=1 count=512

4. Ещё раз проверил энтропию.
По прежнему 256.

5. Попробовал скачать яндекс:

# wget --no-check-certificate https://ya.ru
Connecting to ya.ru (77.88.44.242:443)
wget: error getting response: Connection reset by peer

6. Попробовал вызвать openssl:

echo "Q" | openssl s_client -connect ya.ru:443 -servername  ya.ru 2>/dev/null

7. Снова пытаюсь скачать яндекс:

# wget --no-check-certificate https://ya.ru
Connecting to ya.ru (77.88.55.242:443)
Connecting to ya.ru (77.88.55.242:443)
saving to 'index.html'
index.html           100% |********************************|  320k  0:00:00 ETA
'index.html' saved

То есть ничего не изменилось.

[Aragorn]

junecover, а зачем решением отметили?

[junecover]

Aragorn, мисклик

Answer 3

[Enterneter]

Это косяк от wget, наверняка, напиши им сюда с этим вопросом https://www.gnu.org/software/wget/manual/html_node...

А пока можешь curl попробовать.

Comments

[Aragorn]

В чём же он заключается?