Как на ИБП регулировать напряжение на аккумулятор?
Да как угодно - резистор например поставить как самый простейший способ, есть куча схем посложнее.
Все зависит от того для чего это вам.
На алиэкспрессе навалом всяких игрушек по регулировке напряжения,
Действительно.
И подключить такую игрушку несложно - подцепи проводки не перепутав полярность и все дела.
Проблема в другом - ИБП может отказаться вообще заряжать аккумулятор, если повесить такую игрушку.
Там же контроллер заряда стоит, и когда вы подключите такую штуку он поймет что аккумулятор вышел из строя, и заряжать его не следует.
Поэтому встроенный контроллер заряда придется отключать, и лепить свой контроллер заряда с трансформатором и логикой заряда.
Ну и не совсем понятно чего вы хотите достичь в итоге.