Проверь наличие у усилителя ноги "HOLD" или SLEEP или Stand-by.
В целом современные усилители (у тебя же не класс А, верно?) без нагрузки почти ничего не потребляют, но для носимого устройства это "почти" может сказаться фатально. Читай даташит на усилитель, там обязательно есть пункт "потребление в простое"