CURL | Как скачать не зная версию?

Question

[ComradeTilde]

Есть ссылка
github.com/adoptium/temurin8-binaries/releases/latest/OpenJDK8U-jdk_x64_windows_hotspot_8u322b06.msi
нужно сделать так, чтоб вместо 8u322b06 писать что-то вроде %% и, чтоб этот файл скачивался

Answer 1

[rPman]

одним запросом не получится, мало того тебе нужно мини программа чтобы получить желаемое, на bash сложнее чем на чем то удобнее (php/js/...)
нужно получить список релизов выбранного репозитария, взять первую ссылку и ее уже загружать
в твоем примере чтобы получить список в формате json:

curl -H "Accept: application/vnd.github.v3+json" https://api.github.com/repos/adoptium/temurin8-binaries/releases?per_page=1

тут параметр per_page=1 чтобы выдало только один релиз - последний, если убрать, будет выдано до 30 штук и можно постранично догружать

в ответе json, берешь нужную ссылку [x].assets[y].browser_download_url
где x - номер в списке версий релиза а y - номер в списке файлов

само собой среди файлов ищи по имени нужный

Comments

[xotkot]

на bash сложнее чем на чем то удобнее (php/js/...)

спорное утверждение
как пример однострочник из 3-х команд, продублирую мой комментарий под ответом mureevms

curl -sL "https://github.com/adoptium/temurin8-binaries/releases/latest" |awk -F'"' '/OpenJDK8U-jdk_x64_windows_hotspot_.*.msi"/{print "https://github.com"$2}' |xargs curl -OL --url

[Saboteur]

на bash сложнее чем на чем то удобнее

Да ладно!

[xotkot]

кстати, если доставать ссылку через json то можно использовать тот же jq

curl -sH "Accept: application/vnd.github.v3+json" "https://api.github.com/repos/adoptium/temurin8-binaries/releases?per_page=1" |jq -r '.[].assets[] |select(.name|test("OpenJDK8U-jdk_x64_windows_hotspot_.*.msi$")) | .browser_download_url'

ну а дальше качаем пакет удобным для нас способом

Answer 2

[mureevms]

В линуксовой консоли можно так, приведите под винду сами, я в нее не умею

# Выяснить длинную версию последнего релиза:
LONG_VERSION=$(curl -s https://github.com/adoptium/temurin8-binaries/releases/latest | awk -F\" {'print $2'} | awk -F/ {'print $8'})

# Привести длинную версию последнего релиза к короткой:
SHORT_VERSION=$(echo $LONG_VERSION | awk -F- {'print $1$2'} | sed 's/jdk//')

# Скачать файл:
wget https://github.com/adoptium/temurin8-binaries/releases/download/$LONG_VERSION/OpenJDK8U-jdk_x64_windows_hotspot_$SHORT_VERSION.msi

Comments

[xotkot]

можно проще

curl -sL "https://github.com/adoptium/temurin8-binaries/releases/latest" |awk -F'"' '/OpenJDK8U-jdk_x64_windows_hotspot_.*.msi"/{print "https://github.com"$2}' |xargs curl -OL --url

[mureevms]

xotkot, Можно, дело вкуса, но лучше явно, чем не явно )

[xotkot]

mureevms,

но лучше явно, чем не явно

не совсем понял о чем речь, явно это о понимании кода ? если так то по моему данный однострочник состоящий их трёх частей довольно легко прочитать
1 часть

curl -sL "https://github.com/adoptium/temurin8-binaries/releases/latest"

качаем список(в html) ссылок программ последнего релиза
2 часть

awk -F'"' '/OpenJDK8U-jdk_x64_windows_hotspot_.*.msi"/{print "https://github.com"$2}'

достаём, с помощью awk, из полученного html-файла нужную ссылку попутно добавляя вначале https://github.com так как ссылки идут без данного префикса.
3 часть
xargs curl -OL --url
передаём(с помощью xargs) в curl полученную выше ссылку для скачки

в общем, всё довольно просто

[mureevms]

xotkot, я понимаю, что написано ).

> лучше явно, чем не явно
Это из Дзена пайтона, которым следут руководствоваться при написании кода и он достаточно обще написан, что подходит много для чего.

Т.е. суть моей мысли было в том, что три строки выглядят более явно, читабельнее и проще.

[xotkot]

mureevms,

Т.е. суть моей мысли было в том, что три строки выглядят более явно, читабельнее и проще.

я бы не сказал что боле явно, как по мне то в данном случае пайпы выглядят более лаконично и понятнее чем "заморозка состояний" в виде переменных.

[mureevms]

xotkot, заморозка состояний в виде переменных происходит один раз во время отработки скрипта, в следующий раз он будет запускаться не скоро. Лаконично? Да. Более понятно? Нет.

Это разные подходы и оба верны, но я выберу свой и буду просить команду ему следовать, если речь про командную работу. Даже в использовании ключей, если предполагается, что ваш код будут читать другие, рекомендуется использовать расширенное наименование, например первый вариан выглядит более понятно, чем второй:

curl --silent --location https://github.com
curl -sL https://github.com

[xotkot]

mureevms,
в данном случае у нас рассматривается задача уровня однострочника и оглядка на командную работу или те же длинные ключи здесь на мой взгляд излишне.
к примеру, для читающего -L или --location будут выглядеть одинаково непонятно если он до этого не использовал или очень мало использовал curl, я например ключи sLOo довольно часто применяю да и другие кто часто пользуется curl думаю так же часто их используют, поэтому удлинение команды за счет длинных ключей здесь не привнесет ясности, и кто не знает тому всё равно придется идти в man и смотреть что значит --location чтобы не промахнутся.
Грубо говоря короткие ключи очень полезны если разумно этим пользоваться, особенно если это довольно частые комбинации. Это можно сравнить с запуском программ на компьютере, когда есть 100 программ, но 3-4 ты из них вызываешь чаще всего, поэтому их вызов проще повесить на комбинацию клавиш чем постоянно лазить по меню выискивая нужное.

[mureevms]

xotkot, все это частности не имеющие значение. Значение имеет удобно ли читать читать код и можешь ли сходу его понять. Вы часто пользуетесь курлом, я чем-то еще и знаю ключи этого чего-то, но если дам вам прочесть, это будет поиск ключей в мане. Зачем, если можно по-большей части избежать этого, просто указывая полные ключи? Вопрос риторический.

[xotkot]

mureevms,

все это частности не имеющие значение.

ну мы же рассматриваем частную задачу уровня однострочник где частности с лёгкостью могут превалировать над чем-то глобальным. Вы же надеюсь не будете предлагать автору сделать еще дополнительно тестирование и обработку ошибок ? всему своё время и место

Значение имеет удобно ли читать читать код и можешь ли сходу его понять. Вы часто пользуетесь курлом, я чем-то еще и знаю ключи этого чего-то, но если дам вам прочесть, это будет поиск ключей в мане.

-sL vs --silent --location
для понимающего человека и часто пользующемуся данными ключами читаемость будет сравнима, хотя в первом случае возможно даже лучше, так как например команда rm -rf довольно легко воспринимается и запоминается, команду с длинными ключами rm --recursive --force также легко прочесть и понять то что она делает даже для незнающего, НО это будет действовать для ключей которые не несуть в себе большую смысловую нагрузку, сравните:

f, --force ignore nonexistent files and arguments, never prompt
-r, -R, --recursive remove directories and their contents recursively

и

-L, --location
(HTTP) If the server reports that the requested page has moved to a different location (indicated with a Location: header and a 3XX response code), this option will make curl redo the request on the new place. If used together with --include or -I, --head, headers from all requested pages will be shown. When authentication is used, curl only sends its credentials to the initial host. If a redirect takes curl to a different host, it will not be able to intercept the user+password. See also --location-trusted on how to change this. You can limit the amount of redirects to follow by using the --max-redirs option.

When curl follows a redirect and if the request is a POST, it will send the following request with a GET if the HTTP response was 301, 302, or 303. If the response code was any other 3xx code, curl will re-send the following request using the same unmodified method.

You can tell curl to not change POST requests to GET after a 30x response by using the dedicated options for that: --post301, --post302 and --post303.

The method set with --request overrides the method curl would otherwise select to use.

-s, --silent
Silent or quiet mode. Do not show progress meter or error messages. Makes Curl mute. It will still output the data you ask for, potentially even to the terminal/stdout unless you redirect it.

Use --show-error in addition to this option to disable progress meter but still show error messages.

и если сходу с --silent еще можно сориентироваться то с --location будет намного труднее разобраться и если понадеяться понять смысл только по названию без прочтения man то можно отстрелить себе обе ноги, так что лучше с малознакомыми командами и их ключами всегда ознакамливатся по их man.

Зачем, если можно по-большей части избежать этого, просто указывая полные ключи? Вопрос риторический.

еще раз, я не призываю всегда и для всего использовать короткие ключи, как я писал выше часто употребляемые ключи обычно 3-4 (их короткая форма) обычно является более оптимальным вариантом использования особенно если это однострочники.

[mureevms]

xotkot, считаю дискуссию исчерпанной. Спасибо за компанию )

Answer 3

[Saboteur]

получаем ссылку для скачивания:

curl https://api.github.com/repos/adoptium/temurin8-binaries/releases/latest?per_page=1|grep -oP 'download_url": "\K.*OpenJDK8U-jdk_x64_windows_hotspot.*msi(?=")'

дальше можно в переменную:

URL=$(curl https://api.github.com/repos/adoptium/temurin8-binaries/releases/latest?per_page=1|grep -oP 'download_url": "\K.*OpenJDK8U-jdk_x64_windows_hotspot.*msi(?=")')
curl -OL $URL

или в xargs

curl https://api.github.com/repos/adoptium/temurin8-binaries/releases/latest?per_page=1|grep -oP 'download_url": "\K.*OpenJDK8U-jdk_x64_windows_hotspot.*msi(?=")'|xargs curl -OL

Comments

[mureevms]

xargs есть на винде?

[Saboteur]

если стоит git с git-bash, то почему нет?
Еще лучше запускать эту команду как sh скрипт, а не из командной строки винды