Vkok

Проверь права доступа файлов. Чтобы открывался должна быть цифра 644

Для автоматизации тестирования используют Selenium - ставишь плагин, накликиваешь руками нужные действия, плагин записывает скрипт и его можно запускать в своей проге.

steepfox яндекс иногда странно себя ведет, может подолгу не индексировать страницы, без явных причин на то. Если с контентом на страницах все в порядке, нет лишнего мусора и дублирующейся информации, то проиндексироваться со временем они должны. Можете еще проверить robots.txt, вдруг нужные страницы там случайно запретили индексировать и проверьте в яндексе список страниц при загрузке которых произошли ошибки в разделе исключенные страницы, это тоже быть причиной отсутствия страниц в индексе.

если реально страницы нужно, но не попали в индекс, то пробуйте их пролинковать с индексированных и дать на них внешние ссылки

Яндекс загружает все страницы, но в индекс попадут только уникальные и полезные по мнению Яндекса.
Он может исключить из выдачи категории, страницы дубли, загруженные документы и т.д., но проиндексировать их все. Даже страницу поиска и незакрытые от индексации внутренние страницы, иногда даже админку. Так что нужно смотреть, что конкретно в выдаче и что туда не попало.
Можно ускорить процесс попадания путём социальных сервисов, типа мини прогона по не попавшим страницам, это может помочь, но может и навредить. Зависит от сайта.

Покажите записи MX в dns

nic.ru (ru center) - конченая, ублюдская контора, основной вид деятельности этой "фирмы" - ЛОХОТРОН. Это россия , привыкайте к тому что лидеры рынка - лохотронщики.....

nic.ru ..? даже не думайте, отстой из отстоев + бизнес на опоздавших.

4 года назад решили проверить регистратора обычной подставой, сработает или нет, до этого уже попадали на такое действие но тогда небыли готовы и подкованны в этом направлении.
Был домен и не успели его проплатить, все в разъездах в отдаленных точках России были, аочти без связи и интернета, прошел срок оплаты и еще месяц, домен освободился и что самое интересное его тут же мгновенно зарегистрировали (менее чем 10 минут прошло), смотрим кто регистрат и по его данным узнаем что это киберсквоттер (так же узнаем по слухам что он владелец 5000 доменов, причем довольно звонких), пишем письмо и в ответ получаем что вернет за 2.5 тыс баксов, естес на отказываемся тк как имя интересное, а кот содержание сайта было не фонтан и потому легко отдали...
Спустя годик решили заморочится и проверить слухи в интернете, покупаем домен и начинаем его раскручивать, договорились с одной строительной компанией у которой довольно раскрученный сайт, что типа делаем их сторонней компании зеркало, домен раскрутили нормально и вот когда подготовились основательно, ждем даты окончания действия домена, в день оплаты не платим, далее проходит месяц и мониторим..., не поверите домен был зарегистрирован после окончания полного действия за 2 минуты !!! и что самое интересное на него тут же повесили заглушку с сообщением о продаже, смотрим данные кто зарегистрировал и о чудо наш знакомый.
Пишем письмо и получаем ответ типа домен продам за 4.5 тыс баксов, проверяем письмо, почтовый ящик зарегистрирован в обычном гугле, а вот отправка была с веб консоли, пробиваем ip и тут выясняем что ip принадлежит nic.ru, иследуем используемые ip адреса компании, отбрасываем хостинговые и сервиса dns, а так же другой мусор и вот наконец добиваемся результата, ip адрес с которого был заход в веб консоль gmail.com был осуществлен из центрального офиса nic.ru который находится на Метро сокол, тут нам сразу стало понятно что этот пресловутый киберсквоттер работает в nic.ru или его просто не существует, а сама компания таким макаром зарабатывает бабки.
С тех пор я точно знаю все что угодно но только не nic.ru...