Выбираем все из результатов подзапроса с условием по категории, где сортируем по ID в обратном порядке, при выводе результатов сортируем в обычном порядке по ID
SELECT id, title FROM (
SELECT * FROM tableName WHERE category = 1 ORDER BY id DESC LIMIT 5
) sub
ORDER BY id ASC
