1. Попробуйте выполнить команду aspnet_regiis.exe -i. Находится в "%windir%\Microsoft.NET\Framework\v4.0.30319". Это установит (переустановит) ASP.NET и сопутствующие настройки.
2. Проверьте в IIS, что у вас корректно заданы серверные обработчики. Для этого в IIS Manager выберите свое приложение (или сайт или сервер целиком) и в нем раздел Handler Mappings. Найдите, есть ли строка, для которой в колонке Path задано значение "*.svc". Если нет, то надо завести руками. Например, для 32-разрядной системы это будет "%windir%\Microsoft.NET\Framework\v4.0.30319\aspnet_isapi.dll". Для 64-версии или другой версии .NET пути будут примерно такими же.
3. Посмотрите, а включен ли WCF сервис в компонентах Windows. Для этого идите в Панель управления -> Программы и компоненты -> Включение компонент Windows (или как-то так называется). Там в разделах .NET 3.5 и .NET 4.5 Advanced есть галки про WCF. Включите.
По идее эти действия должны помочь. Если нет - смотрите в eventlog, там иногда что-то полезное светится.
А еще поставьте себе IIS 7 или даже 8 (если встанет на 7ку).