Добрый день!
Представим, что есть сайт, на котором хранятся ссылки на музыкальные файлы.
На сайт попадает поисковый робот и видит все эти ссылки. Будет ли он по них переходить?
Если да - будет ли качать все файлы, или увидит, что заголовок равен audio/mpeg, на чем его скачивание прекратится?
Я так понимаю, есть смысл отключить определенную папку с файлами в robots.txt, чтобы паук в них не лез?
Простой
