что это вообще за штука такая
Инструмент автоматизации, позволяющий описывать шаблоны действий в виде конфигурации и не париться за ручной запуск тестов или сборок.
Как я понимаю, это некий скрипт (исполняемый кем?), задача которого состоит просто в автоматической сборке и публикации бинарника. Но, опять же, где исполняется этот скрипт, который компилирует ПО (в данном случае вайн) из исходников - на каком-то сервере разработчика, или это гитхаб предоставляет (бесплатно?) ресурс ЦП и памяти для компиляции программ?
Скрипт, делать он может разное (что напишете), исполняется на серверах Гитхаба, стоимость и ограничения написаны
на сайте.
почему некоторые разработчики начинают использовать вот такую странную систему
Потому что эта "странная система" в том или ином виде - промышленный стандарт в современной разработке.
вместо того, чтобы публиковать бинарники в releases
Конкретно эти разработчики своё решение обосновали так:
Tagged releases might still be made available here in the future, but considering the high volume of regressions upstream and Proton's QoL patches being hard enough to rebase for us to be forced into the reverts route every few months, the nightlies will be just as stable.