Винду ставить не хочу и не буду принципиально.даже десятку можно дрессировать, при чем малыми усилиями.. но надо пройти ликбез. без вариантов ))
Заскриньте inner exceptionтам могут быть существенные пояснения
у вас корпоративный Exchange? тогда нового интерфейса и правда может не быть в принципе. это скрины с outlook.com .. но суть не меняется. в настройках сборщика почты с других ящиков, фишка "куда класть" есть давно и обязательно 
using вроде бы и должен обеспечить закрытие, по окончанию обработки, но гарантии нет. и в любом случае - открывать/закрывать базу на каждый клик кнопки - не лучшая идея. обще принято открывать базу при старте программы, закрывать по завершению, а сохранять изменения - это да, не возбраняется в любом месте. разве что предпочтительно соблюсти баланс интенсивности дисковых операций (их бы поменьше) с важностью изменений (чем важнее, тем больше резона сохранить)