Запретить индексировать - никак.
Попросить не индексировать - через robots.txt. Львиная доля поисковиков/роботов этот файл читает, но есть и всякие ненатуралы (правда, их тяжело назвать поисковыми системами, скорее парсеры говноконтента с целью пошарить его потом у себя).
