Я ищу информацию по настройке smtp в nginx, но не могу ничего найти.
И не найдёшь, потому что Nginx к твоей проблеме отношения не имеет. Nginx конечно может выступать в роли mail-proxy, но это не твой случай.
Твоё приложение сообщает, что проблема с аутентифкацией, вероятно тебе надо сгенерировать
пароль приложения и использовать его для аутентификации.
