Дмитрий Дарт

Перед папкой www папки по типу logs, tmp и т.д. Их нужно запрещать индексировать ?

Нет

В папке сайт.com есть папки css, js, img, fonts и файл .htaccess. Нужно запрещать или нет ?

Нет

Запрещать индексировать нужно каталоги со страницами, которые вы не хотели бы что бы попали в индекс

Если мусорных больше, то запретите всё и разрешите избранные, например:

Disallow: /
Allow: /category/it

Если сомневаетесь внутри яндекс-вебмастера есть инструмент для проверки robots.txt можно задать правила прям там в окне, потом ввести URL и посмотреть будет ли он по ним индексироваться, воспользуйтесь.

Да следует писать Allow: /a/b про site.com/index.php?r=a/b забудьте, его не видит никто кроме сервера.
Запретить каталог будет Disallow: /b/*