Скажите, можно ли на c# написать нестандартные gui?
Нельзя, придет Ростехнадзор, и оштрафует за несоответствие ГОСТу, потребует выплатить пользователям компенсации за лишнюю загрузку ОЗУ, ЦП, GPU!
дайте ссылки на лучшие библиотеки
WPF, на нем все можно "кастомное" сделать, на WinForms тоже можно, но рамку с тенями или прозрачностью вы адекватно не сделаете на WinForms, еще в WinForms аппаратного ускорения графики нет, но зато приложение запускаться будет быстрее.
Еще одно направление - SkinFeature, SkinCrafter.
А также готовые библиотеки, от DevExpress и Telerik, в них это одна из функций, вместе с прочими "наворотами".
можно ли скомпилировать программу написанную на c# под системы отличные от windows
Можно, но далеко не всё будет работать на других системах, WPF не будет, ему DirectX нужен, на Линукс и OS X его нет...