Судя по симптомам, ваш сервер отдаёт (или когда-то отдал) заголовок
Strict-Transport-Security (
HTTP Strict Transport Security). Если это так, то редиректа при этом действительно не происходит, потому что браузер ещё при старте запроса сам подменяет протокол.
Что происходит, когда "тупой" http-клиент обращается по http на сервер, отдающий такой заголовок, я точно не помню, но, скорее всего, заголовок просто игнорируется.
Судить о том, насколько бот Яндекса является "тупым" я тоже не берусь. Но даже если бот понимает этот заголовок и корректно его обрабатывает, это не должно считаться переадресацией.
