Как проверить доступность web ресурса из терминала Linux?

Question

[Vitalya Ivanov]

Подскажите, пожалуйста, возможно ли проверять доступность онлайн-ресурса из терминала Линукс? Т.е по возможности без установки стороннего ПО и главное без GUI (или с помощью простейших консольных утилит)

Известные причины недоступности:
1. Сервер упал (уровень лёгкий)
Можно проверить Пингом до адреса из терминала

2. Оборудование устарело (уровень средний)
На пожилом оборудовании не встаёт соединение HTTPS
Предполагаю таймаут или сброс при отправке TLS пакета
Вопрос: как отправить проверочный HTTPS запрос из терминала?

3. Не пускают по территориальному признаку (уровень сложный)
Какой-то ответ должен придти, поэтому однозначно понять не всегда получается (иногда даже честно возвращается веб-страница с извещением о санкциях)
Как проверить это, совсем не представляю

Хотелось бы как-то отправить какой-то проверочный HTTPS запрос (?) из терминала минимальной сборки Linux (что-то наподобие openwrt или ubuntu server без интерфейсов). Возможно ли простыми способами проверить на 2й случай и по возможности разграничить с 3м?
Пока думаю отправлять HTTPS запрос через Python, но много нюансов может возникнуть даже на рабочем ресурсе + не уверен, что получится его установить

Comments

[Константин]

2.

curl https://example.com
curl -i https://example.com
curl -v https://example.com

[Adamos]

Сильно зависит от того, что за сайт и какие вокруг него навороты.
Например, если он за Cloudflare - то скрипт в него и упрется, до сайта не дойдет.
А вот если wget таки возвращает страницу сайта, тут же можно grep-ом проверить, действительно ли это страница сайта или сообщение "Министерство Правды заколотило эту дверь на всякий случай, утрись".

[Vitalya Ivanov]

Константин, Adamos, спасибо, буду пробовать

[pfg21]

еще как вариант для третьего случая - сайт будет работать нормально, но выдаваться страничка с надписью "запрещено для вашей страны" без всяких ошибок, т.е. с http статусом 200 OK

[AUser0]

Кстати, третий вариант будет возвращать одинаковые страницы для любого файла, например /robots.txt и /favicon.ico. И для точно не существующего askjbsa3eywebrviyweczwervpwe6ritbhwiurpvwir0euv.jpg.

[Vitalya Ivanov]

AUser0, отлично. Я пока пробовал только curl'ом главную страницу сайта, ну в целом даже там что-то видно (вразумительное содержимое вместо страницы-заглушки)

Answer 1

[SunTechnik]

На выбор, в зависимости от сценария и задач:
wget
curl
lynx ( спасибо AUser0)
openssl (что бы проверить валидность сертификата)

Сам по себе ping не может говорить о доступности ресурса (может не работать ping, а ресурс работать. И наоборот)

Comments

[AUser0]

SunTechnik, но вместо lunx использовать lynx.

[Dmitry]

если нет curl и wget , голый дистр, то можно так

echo "GET \ HTTP1.1\nHost: www.example.com\n" | nc www.example.com 80

[rPman]

AUser0, lynx и elinks

[Vitalya Ivanov]

Спасибо, изучу

[Vitalya Ivanov]

Dmitry, спасибо, наверное, curl и wget можно доустановить (места должно хватить)
Эти команды ведь работают вместе? Echo отправляет этот текст по HTTP на указанный хост и порт?

[Dmitry]

Vitalya Ivanov, да все так. я прсто буквально вчера столкнулся с ситуацией когда мне надо было убедится что удаленный веб-сервис отвечает, а на той ноде где я сидел - был только nc (net cat) и доустановить curl или wget было нельзя.
Так что это для расширения кругозора такой совет был )

[Vitalya Ivanov]

Dmitry, понял, учту

Answer 2

[Кот Абсолютный]

1. Telnet/nmap
2. openssl с подбором шифронаборов, похожих на те, которые использует оборудование
3. wget/curl/lynx и анализ ответа. Большинство сайтов, которые сами блокируют по гео - отдают страницу типа "Доступ запрещен". Там не всегда упоминают санкции на самом деле - таких отмороженных я не видел, обычно там надпись "Доступ в вашем регионе запрещен" или какая-то вариация на тему или вообще незатейливо Access denied.

Comments

[Василий Банников]

Иногда можно проверить по http коду. Многие сайты возвращают 451 код, если блокировка по территориальному признаку из-за санкций

[Vitalya Ivanov]

Спасибо, изучу
Был какой-то сайт, насколько помню, с электронными компонентами. Единственные, кто честно признались, они, правда, ссылались на эмбарго. Спасибо хоть на этом

[Кот Абсолютный]

Vitalya Ivanov, Щас без балды накидаю сайтов поставщиков электронных компонентов, которые возвращают что-то типа Access denied

ibm.com - "К этому контенту больше нет доступа"
intel.com - Пустая страница, думай что хочешь. Подход ссыкунов.
broadcom.com - Sorry, you have been blocked
mouser.com - Access denied
latticesemi.com - Access denied
nxp.com - Access denied
dameware.com- The request is blocked
clamav.net - Sorry , you have been blocked
maximintegrated.com - Sorry, you have been blocked
digikey.com - Большая и красивая 403 в круге :)

Причем там страница обычно или вообще plaintext или минимальный html, если там есть blocked, denied или 403 - то понятно про что это

Есть еще сайты, которые тупо зависают при коннекте - ti.com, dell.com

[Vitalya Ivanov]

Кот Абсолютный, а ещё analog.com - как раз разъясняют причину? Но тут хоть ответ получаешь хоть какой

[Кот Абсолютный]

Vitalya Ivanov, Никак. Тупо виснет, так же как ti.com

[Vitalya Ivanov]

Кот Абсолютный, когда как, видимо...

в этот раз прогрузилось

Answer 3

[rPman]

про curl и lynx уже ответили, добавлю от себя вариант с созданием скриншота

chromium --headless --disable-gpu --hide-scrollbars --window-size=1280,800 --screenshot=myscreenshot.png http://localhost

тут же можно замерить время загрузки, правда алгоритм определения окончания загрузки может неверно распознать формируемые на javascript страницы (но он все еще работает в большинстве случаев)

Comments

[Vitalya Ivanov]

Интересный подход. У меня только тестовое железо очень слабое, что-то повис процесс на 1м ядре 1м гиге и убунте 22. Для более мощного, видимо, лучше подойдёт

[rPman]

Vitalya Ivanov, chromium требует от 450мб ram плюс сколько нужно веб приложению (десятки обычно), странно что именно повисло, лучше читать сообщения об ошибках, например нет xserver (можно фейковый запустить на базе xvfb)

[Vitalya Ivanov]

rPman, понял. Пока тестировал только слабое железо.....

[dimone73]

А ИИ говорит что так

#!/bin/bash

# Скрипт HTTP пингования
# Проверяет доступность хоста через HTTP/HTTPS

# Цвета для вывода
RED='\033[0;31m'
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
NC='\033[0m' # No Color

# Параметры по умолчанию
HOST=""
PROTOCOL="http"
PORT=80
TIMEOUT=5
COUNT=4
VERBOSE=false
FOLLOW_REDIRECTS=true

# Функция для вывода справки
show_help() {
    echo "Использование: $0 [OPTIONS] HOST"
    echo ""
    echo "Опции:"
    echo "  -p, --port PORT      Порт для проверки (по умолчанию: 80)"
    echo "  -s, --https          Использовать HTTPS вместо HTTP"
    echo "  -t, --timeout SEC    Таймаут в секундах (по умолчанию: 5)"
    echo "  -c, --count NUM      Количество проверок (по умолчанию: 4)"
    echo "  -v, --verbose        Подробный вывод"
    echo "  -n, --no-redirect    Не следовать редиректам"
    echo "  -h, --help           Показать эту справку"
    echo ""
    echo "Примеры:"
    echo "  $0 example.com"
    echo "  $0 -s -p 443 example.com"
    echo "  $0 -t 10 -c 10 example.com"
}

# Парсинг аргументов командной строки
while [[ $# -gt 0 ]]; do
    case $1 in
        -p|--port)
            PORT="$2"
            shift 2
            ;;
        -s|--https)
            PROTOCOL="https"
            PORT=443
            shift
            ;;
        -t|--timeout)
            TIMEOUT="$2"
            shift 2
            ;;
        -c|--count)
            COUNT="$2"
            shift 2
            ;;
        -v|--verbose)
            VERBOSE=true
            shift
            ;;
        -n|--no-redirect)
            FOLLOW_REDIRECTS=false
            shift
            ;;
        -h|--help)
            show_help
            exit 0
            ;;
        -*)
            echo "Неизвестная опция: $1"
            show_help
            exit 1
            ;;
        *)
            HOST="$1"
            shift
            ;;
    esac
done

# Проверка обязательного параметра HOST
if [[ -z "$HOST" ]]; then
    echo "Ошибка: необходимо указать хост"
    show_help
    exit 1
fi

# Проверка наличия curl
if ! command -v curl &> /dev/null; then
    echo "Ошибка: curl не установлен. Установите curl для работы скрипта."
    exit 1
fi

# Функция для проверки доступности хоста
check_host() {
    local url="$PROTOCOL://$HOST:$PORT"
    local curl_cmd=("curl" "--silent" "--max-time" "$TIMEOUT" "--output" "/dev/null" "--write-out" "%{http_code}")
    
    if [[ "$FOLLOW_REDIRECTS" == true ]]; then
        curl_cmd+=("--location")
    else
        curl_cmd+=("--no-location")
    fi
    
    if [[ "$VERBOSE" == true ]]; then
        curl_cmd+=("--verbose")
    fi
    
    curl_cmd+=("$url")
    
    local response_code
    response_code=$("${curl_cmd[@]}" 2>/dev/null)
    local exit_code=$?
    
    if [[ $exit_code -eq 0 ]]; then
        if [[ $response_code =~ ^[23] ]]; then
            echo -e "${GREEN}УСПЕХ${NC} - HTTP код: $response_code"
            return 0
        else
            echo -e "${YELLOW}ЧАСТИЧНО${NC} - Хост отвечает, но HTTP код: $response_CODE"
            return 1
        fi
    else
        echo -e "${RED}ОШИБКА${NC} - Хост не отвечает (код ошибки: $exit_code)"
        return 2
    fi
}

# Основная функция пингования
http_ping() {
    echo "HTTP пинг $HOST [$PROTOCOL, порт: $PORT, таймаут: ${TIMEOUT}с]"
    echo "--------------------------------------------------"
    
    local success_count=0
    local total_count=0
    
    for ((i=1; i<=COUNT; i++)); do
        echo -n "Попытка $i: "
        if check_host; then
            ((success_count++))
        fi
        ((total_count++))
        
        # Пауза между запросами, кроме последнего
        if [[ $i -lt $COUNT ]]; then
            sleep 1
        fi
    done
    
    echo "--------------------------------------------------"
    echo "Статистика:"
    echo "Успешных: $success_count/$total_count"
    
    if [[ $success_count -eq $total_count ]]; then
        echo -e "${GREEN}Хост полностью доступен${NC}"
        return 0
    elif [[ $success_count -gt 0 ]]; then
        echo -e "${YELLOW}Хост частично доступен${NC}"
        return 1
    else
        echo -e "${RED}Хост недоступен${NC}"
        return 2
    fi
}

# Запуск пингования
http_ping
exit $?

# Базовая проверка
./http_ping.sh example.com

# Проверка HTTPS
./http_ping.sh -s example.com

# Проверка с определенным портом
./http_ping.sh -p 8080 example.com

# Проверка с таймаутом 10 секунд и 10 попытками
./http_ping.sh -t 10 -c 10 example.com

# Подробный вывод
./http_ping.sh -v example.com

[Vitalya Ivanov]

dimone73, здо́рово, спасибо, интересно, сам я в скриптах не силён, ни sh, ни bat, обычно предпочитаю простейшие инструменты

Answer 4

[Vitalya Ivanov]

Ещё в целом вариант подключиться по ssh к этому Линуксу
Формально устанавливается только пакет openssh-server в терминале
По факту запросы можно направить с основного устройства (хотя пинг не прошёл «из коробки», видимо, настраивать что-то нужно, но HTTPS запрос идёт там)