Проверка доступности URI‐адреса средствами powershell на подобие curl?

Question

[Habarovchanin]

Задача.
Проверить корректность и доступность URL-адреса, больше ничего не требуется.. Команда вызывается из другого программного файла (скрипт VimL).
Используя программу "curl" это можно сделать такой командой:
curl --silent --fail --output nul --head <URL>
после чего считывается код возврата "curl" и подставляется в текстовый буфер.
Покурив Интернет и документацию, набросал команду, которая выполняет что‐то похожее:

powershell -command "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ; Invoke-Webrequest -UseDefaultCredentials -disablekeepalive -maximumredirection 2 -method head -UseBasicParsing -uri <URL>"

Но есть несколько сложностей:
1. Она пишет в консоль. Должна быть полностью «немой», т. е. как ключ "--silent" в программе "curl".
2. Получить от неё код возврата, типа такого или что‐то похожее, как возвращает "curl". Пробовал разные варианты.
И как ранее подсказывал MaxKozlov с exit

powershell -command "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ; exit Invoke-Webrequest -UseDefaultCredentials -disablekeepalive -maximumredirection 2 -method head -UseBasicParsing -uri <URL>"

И пытался считать "$LastExitCode", и прочитать переменную "$?", но результат удручающий.
Как я понял, с этим в "PowerShell" всё плохо.
Есть ли какие‐нибудь решения? Нужно просто получить результат от команды — корректный URL или нет, доступен хост или нет.

Answer 1

[сергей кузьмин]

в .net как ни странно http 304 и 40x и 50x будут Exception которые
ErrorAction SilentlyContinue не спрячет при выполнение invoke-webrequest или invoke-restmethod И приходится

try {
    $ProgressPreference = 'Stop'
     $response  = Invoke-WebRequest -uri $url   
    $ProgressPreference = 'Continue'
  } catch [Exception]{
    # 1 NameResolutionFailure  
    # 15 ProxyNameResolutionFailure	
    # 2 ConnectFailure
    # 3 ReceiveFailure
    # 7 ProtocolError
    # 9 TrustFailure
    if ( $exception.Status -ne 7 ) {
      $statuscode =  $exception.Status

    } else { 
      $statuscode = $exception_statuscode.value__
    }

Answer 2

[Роман Безруков]

Она пишет в консоль. Должна быть полностью «немой», т. е. как ключ "--silent" в программе "curl".

$WebObjVariable = Invoke-WebRequest -Uri <URL> # вывод в переменную
$WebObjVariable.StatusCode
$WebObjVariable.StatusDescription

Получить от неё код возврата, типа такого или что‐то похожее, как возвращает "curl". Пробовал разные варианты.

Разве (Invoke-WebRequest -Uri <URL>).StatusCode возвращает не то, что надо?

Comments

[Habarovchanin]

Роман Безруков
Благодарю.
Да, что‐то похожее! Но есть моменты.
1. Это должна быть, по возможность, именно именно одна строка вызова, а не командный файл.
Т. е. из внешнего, скажем так, скрипта вызывается команда, а потом во «внешнем скрипте» считывается код возврата этой команды.
2. При ошибке соединения возвращаемое сообщение от "powershell" очень многословное.
Например:

PS C:\Users\Admin> (Invoke-WebRequest -Uri https://jigsaw.w3.org/css-validator).StatusCode
200

Это нормально, просто код. Я потом могу его получить и вставить в текстовый буфер.

PS C:\Users\Admin> (Invoke-WebRequest -Uri ftp://ftp.ilog.fr/pub/Users/haible/gnu/linebreak-0.1.tar.gz ).StatusCode
Invoke-WebRequest : Невозможно соединиться с удаленным сервером
строка:1 знак:2
+ (Invoke-WebRequest -Uri ftp://ftp.ilog.fr/pub/Users/haible/gnu/linebreak-0.1.tar ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : InvalidOperation: (System.Net.FtpWebRequest:FtpWebRequest) [Invoke-WebRequest], WebException
    + FullyQualifiedErrorId : WebCmdletWebResponseException,Microsoft.PowerShell.Commands.InvokeWebRequestCommand

А вот это уже нет. Можно, конечно, написать какой‐нибудь обработчик, но хотелось бы, чтобы было просто число.
Как это выглядит в случае с "curl":
https://jigsaw.w3.org/css-validator/ 0
Здесь «0» ‐ это код возвращаемый "curl" в stderr

ftp://ftp.ilog.fr/pub/Users/haible/gnu/linebreak-0.1.tar.gz 28

«28» — так же код в stderr. Он обозначает

28  Operation timeout. The specified time-out period was              reached according to the conditions

, но сейчас это не принципиально.

[Роман Безруков]

Habarovchanin, можно все команды в одну строку через ";" написать :)
вот так возвращается код (число) - в примере вернется 0:

try{Invoke-WebRequest -Uri "ftp://ftp.ilog.fr/pub/Users/haible/gnu/linebreak-0.1.tar.gz" -UseBasicParsing -ErrorAction Stop | Select-Object -Expand StatusCode}catch{[int]$_.Exception.Response.StatusCode}

а вот так какое-то описание - в примере вернется Undefined:

try{Invoke-WebRequest -Uri "ftp://ftp.ilog.fr/pub/Users/haible/gnu/linebreak-0.1.tar.gz" -UseBasicParsing -ErrorAction Stop | Select-Object -Expand StatusCode}catch{$_.Exception.Response.StatusCode}

[Habarovchanin]

Роман Безруков,
Великолепно!!!

Answer 3

[Владимир]

А для тех, кто считает, что VimL - это International Vocabulary of Legal Metrology (VIML), можете пояснить, что именно нужно скормить тому самому "другому программному файлу"?
Мне кажется, из Powershell (в отличие от curl) можно вернуть всё (хоть доступность URL с поправкой на температуру воздуха) , что угодно, лишь бы задача была понятна.
Пока получается "надо сделать как curl".
Но как только появится описание того, что возвращает (и куда возвращает) curl (именно что и куда возвращает, а не какая команда была использована), то тут сразу появятся люди, которые скажут, как это сделать в Powershell.

Comments

[сергей кузьмин]

Владимир вернуть всё помоему нет - именно invoke-webrequest и invoke-restmethod убиты каждый по своему. объяснять детали довольно долго

Habarovchanin вам надо будет скрипт писать - вы умеете это делать ?

[Habarovchanin]

@FluffyBeaver
VimL — это Vim Language, язык программирования, реализованный в текстовом редакторе Vim.
Код, где обрабатывается запрос на доступность URL:

call system(s:command .. shellescape(a:url))
return printf("%s %d", a:url, v:shell_error)

где system() — функция, получающая из командной оболочки возвращаемое значение в виде строки;s:command — переменная, содержащая исполняемую команду; shellescape() — функция, экранирующая передаваемые в команду данные, приемлемым для командной оболочки способом; v:shell_error — содержит код возврата, полученный от исполняемой команды.
В частности s:commadn содержит такую команду curl --silent --fail --output nul --head.
Требуется так же предать команду «powershell» и получить от неё код возврата. Всё.
Сам сценарий находится здесь
Программа «curl» возвращает код завершения (exit code) в поток stderr консоли. От туда его получает программа Vim и дальше уже обрабатывается, так как требуется.
Т. е., в отношении «PowerShell», нужен простой код 200, 503 и т. п. результата обращения Invoke-WebRequest по указанному URL. Этот код желательно очень чтобы был в stderr.
Ну, вот, как‐то так.

сергей кузьмин
Нет. Писать скрипт я не умею. Вы дайте, пожалуйста, направление, а я попробую разобраться. Но обращаю Ваше внимание, что очень желательно, чтобы это была одна командная строка.
Сейчас пробую копать в строну Select-Object.

[сергей кузьмин]

Habarovchanin,
Роман Безруков,

увы 304 и 40x и 50x будут Exception которые ErrorAction SilentlyCintinue не спрячет

[Habarovchanin]

Вот смотрите.
Такой вариант отрабатывает примерно так, как надо:

powershell -nologo -noprofile "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ;exit Invoke-WebRequest -Uri https://www.cisco.com -UseBasicParsing | select-object -expandproperty statuscode" 2>&1

На выходе получаем то, что и ожидалось в потоке stderr

echo %ERRORLEVEL%
200

Но если возникает ошибка при обработке URL (т. е. URL не доступен), то всё перестаёт работать.
Во‐первых, начинает гадить в консоль пояснениями. Во‐вторых, в %ERRORLEVEL% помещается не код от StatusCode, а просто ошибка выполнения. А должен быть именно код состояния.

powershell -nologo -noprofile "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ;exit Invoke-WebRequest -Uri http://directory.google.com/Top/Computers/Software/Operating_Systems/Unix/Win32 -UseBasicParsing | select-object -expandproperty statuscode" 2>&1

Invoke-WebRequest : 502. That’s an error. The server encountered a temporary error and could not complete your request.Please try again in 30 seconds. That’s all we know.
строка:1 знак:82
+ %{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ;exit ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : InvalidOperation: (System.Net.HttpWebRequest:HttpWebRequest) [Invoke-WebRequest], WebException
    + FullyQualifiedErrorId : WebCmdletWebResponseException,Microsoft.PowerShell.Commands.InvokeWebRequestCommand

И в %ERRORLEVEL%

d:\Programs\Curl\bin>echo %ERRORLEVEL%
1

Вместо ожидаемого кода 502

[Habarovchanin]

сергей кузьмин,
Это очень печальное известие!
Т. е. доступных средств сделать так, чтобы не гадил в консоль нет?!
Хорошо, а можно ли тогда как‐то сделать, чтобы в stderr попадал HttpStatusCode, а не просто код ошибки выполнения команды?

[Владимир]

Можно в try.. catch завернуть, первое, что в голову пришло...
Утром проснусь, попробую конкретным примером ответить...

[сергей кузьмин]

Владимир,

это не удовлетворяет пожеланию "бращаю Ваше внимание, что очень желательно, чтобы это была одна командная строка"

[сергей кузьмин]

Habarovchanin,

надо писать скрипт которвый получает ошибку и из неё извлекает статус код

вот так:
$_.Exception.Response.StatusCode.value__

если помогло - я положу в ответы вы отметите решением

[Роман Безруков]

Habarovchanin, а вам это упражнение надо для Windows или для Linux?
исходный скрипт, судя по описанию, "ищет URL в документе, после чего выводит найденные URL в новом окне" - у вас какая задача стоит?
Если отталкиваться от исходного скрипта, то как-то вот так должно решаться:

try
{
    $w = Invoke-WebRequest -Uri "Top Level URL" -UseBasicParsing -ErrorAction Stop
    $w.StatusCode    #Код возврата
    $w.Links.Href      #Ссылки с веб-страницы
}
catch
{
    [int]$_.Exception.Response.StatusCode
}

и мне не очень понятно, зачем тут движения с передачей PS-кода туда-сюда...

[Habarovchanin]

Роман Безруков,
Надо для Windows. Причём Windows начиная от Windows 7 до Windows 11 и с минимально поддерживаемой версией powershell 3.0.
Под исходным скриптом Вы подразумеваете "test_urls.vim"? Там основное, — это функции TestURL(), которая принимает ранее подготовленный URL, отдаёт его "curl", считывает код возврата от "curl" из потока 'sdterr' и это передаёт в вышестоящую вызывающую функцию Test_Chek_URLs(). А уже последняя выводит результат в новое окно. Т. е. основная задача — это проверить корректность и доступность URL.
Поэтому и требуется, чтобы PS-код отправился в cmd.exe (которая на большинстве машин прописана как оболочка по умолчанию в параметре 'shell'), сделал своё дело и поместил результат в 'stderr'. Сам "test_urls.vim" должен работать как под Windows, так и под UNIX-like системами с тем же функционалом и минимально возможными изменениями.

Смотрите. Вчера, благодаря подсказке сергей кузьмин , я вроде как нашёл приемлемое решение, отрабатывающее аналогично "curl".

powershell -nologo -noprofile "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'};Invoke-WebRequest -Uri https://www.cisco.com -UseBasicParsing | select-object -expandproperty statuscode;exit [int]$Error[0].Exception.Response.StatusCode"

echo %ERRORLEVEL%
0

При удачной обработке URL, получаем StatusCode 200 и в "stderr" заносится "0".

powershell -nologo -noprofile "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ;Invoke-WebRequest -Uri http://directory.google.com/Top/Computers/Software/Operating_Systems/Unix/Win32 -UseBasicParsing | select-object -expandproperty statuscode;exit [int]$Error[0].Exception.Response.StatusCode"

echo %ERRORLEVEL%
502

При не удачной, PowerShell пишет в консоль Exception (от этого, я так понял, никуда не деться), но, самое главное, в "stderr" заносится StatusCode — 502.
Вроде, всё нормально. Примерно как "curl".
Но, как оказалось, не всё так. Например, при обработке этого URL cle.linux.org.tw/xcin:

powershell -nologo -noprofile "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ;Invoke-WebRequest -Uri http://cle.linux.org.tw/xcin -UseBasicParsing | select-object -expandproperty statuscode;exit [int]$Error[0].Exception.Response.StatusCode"

Получаем такой Exception

Invoke-WebRequest : Невозможно разрешить удаленное имя: 'cle.linux.org.tw'
строка:1 знак:77
+ %{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ;Invo ...
+ ~
~~~
+ CategoryInfo: InvalidOperation: (System.Net.HttpWebRequest:HttpWebRequest) [Invoke-WebRequest], WebException
+ FullyQualifiedErrorId : WebCmdletWebResponseException,Microsoft.PowerShell.Commands.InvokeWebRequestCommand

Как видите, здесь нет номера StatusCode и, соответственно, в "stderr" заносится значение "0":

echo %ERRORLEVEL%
0

Как с этим бороться, я даже не представляю.
Аналогичная ситуация ситуация и для "FTP". Там вообще не возвращается никаких StatusCode.
Почему так происходит? Куда копать? И что можно сделать?

[сергей кузьмин]

потому что там еще есть System.Net.WebException.Status

1 NameResolutionFailure
15 ProxyNameResolutionFailure
2 ConnectFailure
3 ReceiveFailure
7 ProtocolError
9 TrustFailure

[Habarovchanin]

сергей кузьмин,
Да, Сергей!
Если бы я увидел Ваш ответ раньше или хотя бы знал чуть больше о PowerShell, то нашёл бы это решение раньше. Но, в любом случае, не зря потратил полдня на копание в PowerShell.
Решение нашёл!
Огромное спасибо всем вам за подсказки и указание направления!
Сейчас попробую описать решение, может кому‐то пригодится.

[сергей кузьмин]

Habarovchanin, скопировал в решение

Answer 4

[Habarovchanin]

Итак, решение, приемлемое для этой конкретной задачи, было найдено!
Огромнейшее спасибо всем, кот подсказывал направление поиска решения! Отдельная благодарность сергей кузьмин (если бы я увидел его ответ раньше...)

А решение, как оказалось, достаточно простое:

powershell -nologo -noprofile "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ;(Invoke-WebRequest -UseBasicParsing -Uri <ULR>).StatusCode;exit [int]$Error[0].Exception.Status"

Результат считывается из значение свойства "Status" члена "Exception" в переменной $Error. Это помогает обработать ситуации типа такой

Invoke-WebRequest : Невозможно разрешить удаленное имя: 'cle.linux.org.tw'
строка:1 знак:77
+ %{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'} ;Invo ...
+ ~
~~~
+ CategoryInfo: InvalidOperation: (System.Net.HttpWebRequest:HttpWebRequest) [Invoke-WebRequest], WebException
+ FullyQualifiedErrorId : WebCmdletWebResponseException,Microsoft.PowerShell.Commands.InvokeWebRequestCommand

Когда до ответа сервера ("Response") дело даже не доходило, и получали "0" код возврата, хотя ошибка была. Значить искать причину надо было где‐то раньше.
Посмотрев через $Error[0].Exception | Get-Member видим, что в "Exception" есть такое свойство как

Status           Property   System.Net.WebExceptionStatus Status {get;}

, которое и даёт ответ, было соединение или нет.

Ну, вот, как‐то так. Почти полный аналог "curl".

Если надо получить строковое описания статуса соединения, то необходимо убрать [int] перед $Error[0].Exception.Status. Ещё обратите внимание, что считывается последний код Exception текущей сессии.

Comments

[сергей кузьмин]

кстати ваш однострочник все еще не умеет перехватывать исключения:
.\getstatus_oneline.cmd https://www.googla.com

invoke-webrequest : The remote name could not be resolved: 'www.googla.com'  At line:1 char:92

[Habarovchanin]

сергей кузьмин,
Вы правы, Сергей, он их не подавляет. Но это, на данном этапе и для этой задачи, не требуется пока.
Он получает корректный код возврата проверки соединения и передаёт его для дальнейшей обработки.

powershell -nologo -noprofile "%{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'};(Invoke-WebRequest -Uri www.googla.com -UseBasicParsing).StatusCode;exit [int]$Error[0].Exception.Status"

Invoke-WebRequest : Невозможно разрешить удаленное имя: 'www.googla.com'
строка:1 знак:77
+ %{[Net.ServicePointManager]::SecurityProtocol = 'Tls12, Tls11, Tls, Ssl3'};(Invo ...
+                                                                             ~
~~~
    + CategoryInfo          : InvalidOperation: (System.Net.HttpWebRequest:HttpWebRequest) [Invoke-WebRequest], WebException
    + FullyQualifiedErrorId : WebCmdletWebResponseException,Microsoft.PowerShell.Commands.InvokeWebRequestCommand


echo %errorlevel%
1

Что вполне соответствует

NameResolutionFailure 1 The name resolver service could not resolve the host name.

Другого от него пока и не требуется.

[Роман Безруков]

Habarovchanin, а комментарии вы читаете так себе, как и курите интернет - я ещё вчера написал вам однострочник с обработкой исключений

[Habarovchanin]

Роман Безруков,
Каюсь, Роман!
Просмотрел этот комментарий... ;(
Попробую сейчас.
Спасибо!