А причем тут роботс.тхт? Разумеется в sitemap.xml нужно это прописывать. Просто скормите ПС свою карту сайта и ждите индексации этих страниц. У меня сайт на флеше полностью индексировался, благодаря карте сайта. Если у вас сайт на движке, то наверняка там есть генератор sitemap. Если нет - то напишите генератор, не вручную же прописывать 100500+ страниц