Задайте заголовок Content-Type: application/octet-stream.
.htaccess: AddType application/octet-stream .pdf
В PHP:
header('Content-Type: application/octet-stream');
// Возвращаем нужный файл, например echo file_get_contents(...).
// Обязательно сделайте защиту от взлома!
А что вы собственно хотите с одностраничником сделать при помощи robots и htaccess?
Управлять индексацией одной страницы и контролировать доступ к ней?
Имхо, одностраничный лендинг не для выхода в топ в поиске, а для освоения рекламного бюджета на контекст.