Попробуй IPsec. По моему это то что тебе нужно, так как нативные клиенты есть и в Android и в iOS, и даже в Windows. Работает через NAT. Гибко настраивается. И да, можно аутентифицироваьт абонентов различными способами в частности по логину и паролю.
Есть же NetworkManager. Он достаточно прокачан на данный момент, даже VLAN из коробки умеет. Есть графический интерфейс, есть консольная утилита для настройки. И Wi-Fi настраивается в два клика, так, как и должно быть.
А чем тебя NetworkManager не устроил?
Попробуй закинуть всё на флешку. Теоретически когда приставка встретит на флешке Bootloader она сама себя прошьёт...
Если не получится попробуй во время начальных этапов загрузки приставки понажимать на пульте кнопку "MENU", ты должен после этого попасть в boot-menu откуда должно быть можно запустить процесс обновления прошивки
