Какие файлы исключать в robots.txt на лендинге?

Question

[Артём]

Вот структура файлов.

Я так понимаю надо отключить phpMailer и файл sendmail.php.
Нужно ли отключать скрипт из папки js (в нем содержится код от слайдеров и обработки кнопок и форм обратной связи).
Нужно ли отключать папку css? И папку img и fonts

Если отключать иcходя из моей структуры, правильно ли я это делаю?
User-agent: *
Disallow: sendmail.php
Disallow: /phpmailer
Disallow: /js
Disallow: /assets/css

Answer 1

[ThunderCat]

во первых папку с кодом желательно вынести выше на одну директорию, в паблике не должны лежать библиотеки, их надо подключать из вышележащей директории. По уму и sendmail.php у вас там не должно быть, а сам индекс должен быть index.php, и запросы с лендинга должны на него же и вести, а там уже смотреть по методу запроса, переменным и тд. Но это уже если совсем заморачиваться. В любом случае - пхпмэйлер вынести выше.

В остальном вроде достаточно будет что-то типа:
Allow: index.html
Allow: /assets/img
Disallow: *
Картинки оставить, чтобы гугл их читал по названиям, хотя вроде он и так с хтмля заберет, а скрипты-фонты/разметка не нужны.

Comments

[Артём]

А куда выше убрать то? Это же все в public html, т.е мне вне паблика надо создать директорию?

[ThunderCat]

выше вынести, есть же папки выше? Вот туда добавьте мэйлер. Ну и в sendmail.php подключение перенастройте на папку выше.

[Артём]

ThunderCat, А Роботы заходят онли в папку домена? У меня на хостинге в корневой папке лежит один сайт (рабочий) и в этой же корневой папке находится папка с названием домена второго сайта, и в ней соответственно лежит сайт, чью структуру я скринил выше. Поисковые роботы будут заходить конкретно в папку сайта моего, выше заглядывать не будут? Они выше папки, чем та, в которой лежит index.html не подымаются я так понял?

[ThunderCat]

Артём,

У меня на хостинге в корневой папке лежит один сайт (рабочий)

Он лежит прям в корне, или в своей папке? Если в своей папке, никто в корневую папку не достучится.

[ProjectSoft]

Артём, ThunderCat прав, но если у вас так, то по вашему коду всё правильно.
Но...
Обращение к sendmail.php по прямому запросу должен отдавать пустой объект JSON и ошибку ответа сервера 404.
K sendmail.php вы должны обращаться только по post запросу. Вы должны проверить его, сделать свои действия (отправить письмо), вернуть объект JSON о удачном/не удачном запросе. Но по post запросу вы уже отдаёте ответ сервера 200.
Это всё должно быть если вы оставляете sendmail.php, а не делаете лучше, как предложил ThunderCat, все запросы идут в index.php, т. е. в корень вашего сайта. Естественно у вас должна быть настройка обращения не к index.php, а к корню сайта, т. е. страница всегда должна открываться без присутствия в браузере значения index.php.
Т. е. у вашего сайта должно быть перенаправление с https://example.com/index.php на https://example.com/

[Артём]

ThunderCat, я вынес выше phpmailer, и мой robots.txt выглядит так
Allow: index.html
Allow: /assets/img
Disallow: *

Sitemap: https://домен/

Внутри паблика лежит index.html, sitemap.xml, sendmail.php и папка js с файлом index.js и папка assets, внутри которой папка стилей / шрифтов / картинок.

Я так понимаю в robots больше ничего добавлять не нужно? Disallow отключает все, кроме разрешенных выше index и картинок?
Нужно ли мне ещё что-то добавлять в robots txt, или

[ThunderCat]

Артём, больше ничего и не нужно, роботс же не для доступа делается, а для индексации, собсно вы разрешаете ему только индексируемые ресурсы, остальное просто закрываете.