Самое дешевое железо (соотношение мощность/цена) - это БУ смартфоны с android (придется выбирать, держа на пульсе руку на табличках бенчмарков).
У старых (кажется до 7-ой версии android) даже был полноценный доступ к встроенной системе распознования речи, но потом ее выпилили (т.е. offline доступна только гуглу). Так же я помню писал простенькие скрипты, работающие в браузере (везде) но это тоже выпилили везде почти сразу,.. причины не известны, наверное жадность. Советую проверить, может сейчас работает.
Почти полноценное linux окружение в них поднимается на базе termux/debian_no_root/т.п.
p.s. у openai есть realtime api, и audio+text gpt уровня gpt4o, готовые примеры создания онлайн чат бота (с локальным мониторингом речи, что бы не отправлять весь шум в модельку), требования у них на сколько я знаю очень низкие