Правильно ли я заполнил robots.txt?

Question

[Ibishka]

User-agent: *
Disallow: /ajax/
Disallow: /assets/
Disallow: /includes/
Disallow: /404.php
Disallow: /db.php

Host: https://global-shop-9aff5.web.app

Дело в том что в папке assets только картинки аудио видео. Нужно ли добавлять assets в robots.txt?

Comments

[wisgest]

/404.php не нужно (или на него есть ссылки?!), /includes/, если я понимаю, что там, - не нужно, лучше вообще запретить доступ по HTTP, а ещё лучше вынести за пределы DOCUMENT_ROOT.

[Ibishka]

wisgest, в includes header.php and footer.php т.е не нужно?

[wisgest]

Ibishka, да упоминать в robots.txt не стоит. Но при этом доступ к ним извне (по прямой ссылке) желательно заблокировать (подключению их к php-скриптам это не помешает).

[Ibishka]

wisgest, да через .htaccess заблокировал. Благодарю

Answer 1

[Dimonchik]

если не хотите чтобы были доступны - нужно