Vitaly Karasik

Или технология эта все еще сырая.

Jenkins не сырая, а седая - 15 лет назад контейнеры не использовали. Я не использовал jenkins последние 4-5 лет, sshagent действительно выглядит некрасиво тут.

И стоит на что-то другое посмотреть?

Если можно использовать, то Github Actions, или другое "облачное" решение - тогда не нужно поднимать/конфигурировать build environment.

Да, в саму ветку.
Как предотвратить новый триггер? - https://community.jenkins.io/t/is-it-possible-not-....

https://plugins.jenkins.io/scmskip/

stages {
            stage('Checkout') {
                steps {
                    scmSkip(deleteBuild: true, skipPattern:'.*\\[ci skip\\].*')
                }
            }

Как советуют на странице плагина, пожалуйтесь в "Report issues and enhancements in the Jenkins issue tracker. " (https://plugins.jenkins.io/throttle-concurrents/#p...).
Дженкинс все менее популярен...

Общая рекомендация - использовать мастер только для оркестрации, а jobs  запускать на слейвах.
Что использовать в качестве слейвов? Я привык к виртуалкам, есть плагины для динамического запуска слейвов в AWS и прочих облаках. Собственно говоря, мне вообще непонятно зачем images предлагают строить внутри контейнера.

Смотрите логи, пришлите нам конфиг вебсервера, попробуйте обратиться напрямую к jenkins.

Лучше всего использовать virtual environment, чтобы не зависеть от инсталляции на хосте.

Я не исследовал всерьез, но ИМХО - нет, невозможно. Посколько проекты бывают разные.
Если вас интересует конкретный параметр для конкретных проектов - посмотрите на их XML, и придумайте какой-то скрипт.

Можно с помощью https://plugins.jenkins.io/lockable-resources/

Уверен, что на сайтах MS таких ресурсов будет ОЧЕНЬ много.
Мое личное мнение - спросите себя "зачем"? "потому что у всех все в облаке" и "jenkins устарел"? Или есть конкретный список вещей которые плохо работают или их нехватает в jenkins?
Если второе, то составьте список и проверяйте, что с этими features у azure pipelines.

он создает workspace

На slave.
А на мастере сохранит логи и артефакты.

Запустите ваш job, и посмотрите во время выполнения и после где что.

zabbix_agentd ищет название процесса в списке бегущих процессов.
У jenkins название процесса - java, а jenkins - один из аргументов. Почитайте в доках zabbix_agentd что делать в таких случаях.

Но не удаётся запустить окно приложение - для таких тестов требуется активный рабочий стол. Пробовал использовать Autologon - не помогло.

Странно.
Я бы посмотрел на экран во время работы скрипта.

Запускается джоб - происходит перенаправление на ноду (Windows Server)

На Windows бежит jenkins agent, и там запускается скрипт, правильно? У меня так и все работает.