Коротко - можно.
Можно ли сделать на Google Cloud - нет. (по умолчанию там 25 порт закрыт, возможно за деньги его откроют, не читал соглашение).
Куда копать: много куда, начать изучение Linux (любой - возьмите убунту например) что бы в состояннии администрировать свой сервер, затем посвятите время любому МТА (postfix, exim, sendmail), изучить как работает протокол SMTP (потом его нюансы), затем второй этап понять что есть спам, как с ним бороться (посвятить этом ужизнь), постигнуть LAMP как минимум, далее если использовать чужие наработки этого должно хватить. Если же нет, путь в разработку - обычно стартуют с PHP, дальше как пойдет...
