django-cacheops в большей степени заточен на кэширования уровня ORM, зато инвалидация там навороченная. В целом, можно попробовать переиспользовать инвалидацию уровня ORM с помощью cached_as, но это будет замороченно с т.з. логики и тяжело в поддержке.
По-сути вам придется продублировать автоматически работающие правила инвалидации ORM-а на уровне декораторов view, но уже вручную. И поддерживать консистентность между этими правилами и тем, как в действительности этот view формирует ответ.
Мы остановились на том, что при необходимости облегчаем генерацию ответов DRF за счет values() и prefetch_related(), а инвалидацию оставили там где она лучше всего работает - на уровне ORM.
