1) Ищете в Гугле "C# mail server".
2) Тут же находите: www.ericdaugherty.com/dev/cses
3) Разбираетесь с исходными текстами, особенно с работой POP3
4) Ищете в Гугле "C# imap" и находите кучу примеров клиента
5) Добавляете в сервер поддержку IMAP по результатам пунктов 3 и 4
6) Profit!
Ок, тогда продумайте механизм хранения сообщений по пользователям и очередь отправки SMTP. Затем начните с малого - принимайте соединение на сокет TCP *:25, возвращайте строку приветствия (RFC 2821, 3.1 Session Initiation) с кодом 554 и разрывайте соединение. Добавьте получение команд от клиента. Теперь вместо кода 554 возвращайте 220 и не разрывайте соединение до получения команды QUIT (RFC 2821, 4.1.1.10 QUIT), на все остальные команды возвращайте код 503. Добавьте обработку состояний для определения того, какие команды ожидаются от клиента согласно протокола. Добавляйте обработку команд, смену состояния, корректную реакцию на команды, добавление транспортных заголовков в письмо, запись полученного письма, его передачу в ящик локального пользователя или в очередь для пересылки дальше. Теперь вынесите всё это в отдельный поток, так, чтобы при соединении с сокетом генерировался новый поток и соединение передавалось ему - сервер должен уметь обрабатывать несколько сессий одновременно. Не забудьте о блокировках при сохранении сообщения в ящик пользователя или очередь.
Дальше реализуйте отправку сообщений из очереди, здесь ваш сервер будет выступать клиентом другого сервера. Берем очередное письмо из очереди, берём адреса получателей (To, Cc, Bcc), по каждому запрашиваем MX-записи, в порядке приоритета MX коннектимся к серверам, пытаемся передать письмо. Если получаем ошибку 5yz - генерируем сообщение отправителю, если 4yz - оставляем письмо в очереди до следующей попытки отправки (или истечения максимального периода - тогда сообщаем о недоставке отправителю). Если сервер получателя принял письмо, удаляем его из очереди.
Реализуйте POP3 и/или IMAP для доступа пользователей к своим ящикам.
Добавьте политики (запрет релея, квоты на размер письма, на размер ящика).
