Обычно запрещают к индексированию технические разделы сайта, например, админку. Через Я.Вебмастер в разделе индексация вы можете посмотреть, какие страницы находит робот и считает их некачественными и малополезными, а дальше уже решать вам - закрывать их или дорабатывать.
Стили и скрипты поисковые системы уже учатся обрабатывать, так что закрывать их не нужно. Пару лет назад я снял видеовыпуск по настройке robots.txt, советую посмотреть. Прольет свет на многие моменты:
https://www.youtube.com/watch?v=xtxuWCzkyL0