Укажите индексы в порядке их использования в условии WHERE, вынесите выборку полей в отдельный запрос, а затем его отсортируйте.
SELECT ... FROM (SELECT .... WHERE `man_id` = 1 AND `man_where` = 'inbox' AND `man_group` = 1) as table ORDER BY `id` DESC
Под запрос внутри FROM будет выполнен в первую очередь с использованием индексов
man_id, man_where, man_group
Главное, укажите эти индексы в таком же порядке.
Затем результат будет отсортирован с использование первичного индекса.
Должно помочь.
