Посмотрите ветку реестра HKEY_CLASSES_ROOT
Там информация про каждое расширение, вам нужно .xlsx
Внутри него написано название раздела, который нужно искать в этой же ветке, например Excel.Sheet.12, а уже в нем подраздел DefaultIcon со значением пути до иконки или ресурса exe/dll