Как поисковые боты взаимодействуют с сайтами на которых работает роутинг?

Question

[Gene Hagmt]

Если я верно понимаю, в сайтах построенных на основе концепции mvc, используется роутинг, и таким образом, введенный урл редко соответствует реальной директории. Поэтому возникает вопрос: как поисковые боты индексируют такой сайт? И адреса, указанные в robots.txt будут интерпретироваться ботом как реальные директории или все будет работать нормально?

Comments

[Антон]

*Протёр глаза

Бот не опирается при обходе на "физическую" структуру устройства каталога вашего сайта.
Робот индексирует сайт согласно древовидной урл структуре

Answer 1

[DevMan]

поисковым ботам совершенно безразличны файлы и директории на сервере.
им нужно, чтоб по запрошенному адресу отдавался контент, остальное их не волнует.