Индексация http при настроенном редиректе на https?

Question

[Romanuch11]

Всем привет!
Столкнулся с проблемой индексации сайта, а точнее сайтов, запускаю некоторое кол-во сайтов, на каждом все настроено четко, сразу после покупки домена перекидываю через клауд, закидываю на сервер, выпускаю ssl сертификат, включаю force https, на клауде тоже настраиваю ssl full strict, включаю always https, настраиваю hsts, накидываю вордпресс, там в general тоже и WordPress Address (URL) и Site Address (URL) стоят https://.
Перед закидыванием сайтов на серч консоль, проверяю и вручную, что с http редиректит на https, и через тулы и через терминал с юзерагентом гугл бота и проверяю допом sitemap, нет ли там случаем http версии, в коде сайта проверяю, нигде ссылок http нет, каноникал настроен на версию https, но каким-то образом, каждый раз, после закидывания сайта на консоль, на след. день я вижу одну и ту же картину на всех сайтах - проиндексирована http версия, она и через site:domain бьется и в целом в консоли вижу, что проиндексирована.
В отчете об индексации пишет, что эту ссылку обнаружил на странице https://, но я уже тысячу раз и в БД искал и по коду искал, нигде версии http нет, но по сути то, что он ее где-то находит, это пол беды, суть в том, почему он страницу которая по факту 301 бьет как 200 и сканирует...
На некоторых сайтах пишет, что www и https://www не проиндексированы из-за переадресации, но вот именно версию http:// он не видит в моменте эту переадресацию.

Может кто-то уже сталкивался с таким или знает решение, подскажите, уже месяц ломаю голову с тремя разными аишками и каждый раз аишка приходит в ступор, так как после всех действий которых она просит меня проверить и я ее присылаю результат, она говорит, ну настроено все правильно, это гугл успел пока ты настраивал ssl сертификат просканировать http версию, но это невозможно, так как на сайте сразу же настраивается ssl сертификат.

Answer 1

[Пума Тайланд]

googlebot нередко достучивается до origin-IP в обход Cloudflare — настоящий IP гуляет в исторических DNS-записях, на shodan и т.п. Cloudflare's "always https" работает только на edge, а origin-сервер без собственного редиректа честно отдаёт http как 200.

Добавь на сервере (nginx):

server { listen 80; server_name example.com www.example.com; return 301 https://$host$request_uri; }

Проверить: curl -H 'Host: example.com' -I http://[IP_сервера], если 200 - оно.

p.s. A/AAAA-записи домена в CF должны быть оранжевые (proxied), не серые.

Comments

[Romanuch11]

Привет!
записи A в CF проксируются)

если по команде

spoiler

curl -H 'Host: example.com' -I http://[IP_сервера]

и так выбивает 301, есть смысл на сервер добавлять команду которую ты написал?

[Пума Тайланд]

нет, смысла нет — 301 с origin уже стоит (Apache/.htaccess). Значит гугл просто закешировал http раньше; ускорить можно через Search Console → Инспекция URL → Запросить индексирование на https-версии.

[Romanuch11]

Пума Тайланд, а как это технически возможно? он эту версию http уже с контентом показывает + я перед добавлением в консоль проверяю, сайта еще в индексе нет, соответственно он ее индексирует именно после открытия сайта к индексу и добавлению на консоль.

и вопрос, "Запросить индексирование на https-версии", имеешь ввиду http? чтобы гугл еще раз прошел и увидел редирект?

[Пума Тайланд]

да, запрашивай именно http-версию в консоли — гугл перечитает и увидит 301, обновит на https. А попал он туда скорее всего до того как редирект встал, или из внешнего источника.