Очень сильно зависит от аудитории сайта. По американским юзерам, есть неплохая статистика
вот здесь (примерно 55% за август). По рунету вроде бы цифры меньше, из-за большей распространенности баннерорезалок и тарифицируемого трафика. Есть еще riastats.com, но там выборка статистически хромая. Чуть ли не 80% данных с одного сайта.
Эмпирически, к этим данным можно делать поправку по долям альтернативных браузеров. Если доля огнелиса и хрома среди ваших посетителей выше чем в среднем по больнице, то и с сильверлайтом будет получше примерно в той же степени. Например, на одном буржуйском сайте для вебмастеров, доля сильверлайта около 80%, но IE там болтается на третьем месте после фокса и хрома.
Число отказов зависит о того насколько юзеру нужен ваш сайт. Если это не какой-то уникальный сервис, то я думаю, в самом шикарном случае, сильвер поставит каждый пятый, остальные уйдут. Делать на SL (флэша это тоже касается) сайт целиком, я бы не советовал.