Как вариант.
Добавить в таблицу с комментариями поле с рейтингом. (Денормализовать)
Каждый раз, как пользователь голосует (лайкает) увеличиваете/уменьшаете счетчик с рейтингом.
Да, добавляется запрос с апдейтом, но зато вы избавитесь от select на количество, т.к. рейтинг уже будет в таблице.
Так же при голосовании вставляете запись в comments_votes то, что задумали.
А при показе комментариев, делаете тот же запрос, что и был, только добавляете left join к таблице comments_votes по признаку id комментария и id пользователя.
Соответственно, если юзер еще не голосовал, то вернется null.
Да, добавляется left join. Это увеличит нагрузку, но для ваших требований вы не заметите разницу.
Ну или как предложили выше вариант с comment_id in (...)
