Скачивает ли поисковый робот музыкальные файлы?

Question

[Андрей Павленко]

Добрый день!
Представим, что есть сайт, на котором хранятся ссылки на музыкальные файлы.
На сайт попадает поисковый робот и видит все эти ссылки. Будет ли он по них переходить?
Если да - будет ли качать все файлы, или увидит, что заголовок равен audio/mpeg, на чем его скачивание прекратится?
Я так понимаю, есть смысл отключить определенную папку с файлами в robots.txt, чтобы паук в них не лез?