Если действительно актуальна разработка под обеими системами, то очень советую ограничиться ASCII в именах файлах.
Более того, что еще важнее кодировки, не допускать дублирования имен в разных регистрах.
Пробовал работать с FixUTF8Extension. Даже допиливал местами. На практике он валит TortioseHG в самых неожиданных местах из за различия организации файловой системы. Его поддержка стала затратной и проще оказалось поправить репозиторий.
