Поисковые роботы не могут достучаться к сайту. В чем может быть проблема?

Question

[moved_on]

Сайт spb.dormall.ru
Работает, все хорошо.
Началось все с того, что в вебмастере перестал грузиться Robots.txt - Не удалось загрузить robots.txt. В браузере и консоли все ок.
Пробовал проверить, доступен ли сайт поисковым роботам - нет.

Такая же ситуация с гуглом.

В чем может быть проблема?

Answer 1

[landergate]

По какой-то причине, DNS-запись "spb.dormall.ru" резолвится не у всех пользователей.
У меня, например, он не открывается, как и с ряда других серверов из разных точек РФ и мира - где-то резолвится, где-то - нет.

В NS-серверах домена числится два DNS-провайдера: Fast DNS и Yandex.
dns.fastdns24.com
dns1.yandex.net
dns2.fastdns24.org
dns2.yandex.net
dns3.fastdns24.eu
dns4.fastdns24.link

Вы уверены, что А-запись spb.dormall.ru присутствует и там, и там?
Если вы сопровождаете DNS-записи только в одном месте, не используя второе, то его нужно убрать из списка NS-серверов домена.

Comments

[moved_on]

Спасибо вам огромное! Очень выручили!

Answer 2

[myfirepukan]

1. У меня ваш сайт отдаёт 404 страницу проверяйте что не так
2. В яндексе есть 1 страница так что как-то смог https://yandex.ru/search/?lr=47&clid=1955454&msid=...

Comments

[moved_on]

Спасибо огромное за быструю помощь! Вы не могли бы сейчас проверить?
Да, эта одна страница успела проиндексироваться до того момента, как добавил DNS яндекса.

[myfirepukan]

moved_on: нет, пока не работает

Answer 3

[moved_on]

landergate - Спасибо вам большое!
Для того, чтобы подключить почту к домену, необходимо было подключить домен к Yandex. А запись с * не добавил после этого.

На фото - как сделал только что. Как думаете, прокатит?

Comments

[moved_on]

Прокатило

[landergate]

> На фото - как сделал только что. Как думаете, прокатит?
Лучше сделать отдельную A-запись "spb", указывающую на 5.101.113.85.

> необходимо было подключить домен к Yandex
Было достаточно создать записи Яндекса в своём NS-сервере, который Вы _уже_ использовали ранее. Указывать DNS-сервера Yandex в качестве NS-сервера для **всего** домена - вовсе не обязательно.
Но, раз уж так вышло, лучше перебраться на DNS-сервера Яндекса полностью, отказавшись от другого NS-провайдера, чтобы не пришлось каждый раз дублировать записи и туда, и сюда.

Комментарии/ответы к постам лучше писать под посты. =) Под ними есть конопулька "комментировать".