Когда вы отправляете с сервера, который не является почтовым сервером для указанного ящика, эти письма будут считаться подозрительными.
Настройте отправку через Яндекс. Для этого вам нужно отправлять почту через SMTP. Это умеет делать вышеупомянутый SwiftMailer. Либо можете делать вручную
как-то так.