Все эти иконки, насколько я знаю, меняются установкой тем. Так что можно либо создать свою тему, либо изменить существующую.
В Profiles\random.default\extensions\ ищем папку или файл *.xpi (обычный zip), в котором в корне есть preview.png — это файл\папка с темой оформления. Иконки находятся в Profiles\random.default\extensions\{какой-то уникальный код}.xpi\chrome\browser\
Только это, судя по всему, не распространяется на тему по-умолчанию.
