Когда тебе понадобится другая БД — ты поймёшь. А пока у тебя нет репликаций, хайлоада, БД-специфичных штук вроде JSONB — юзай смело.
Тут многие ругают sqlite за низкую производительность. Но проблемы производительности у этих товарищей чаще всего в кривой архитектуре. Реальные проблемы — когда у тебя тысячи RPS от клиентов, а не когда твои кривые модели генерируют N+1 запросы, которых тысячи. И постгресы всякие таких товарищей спасают ненадолго. И тюнинг тоже.
Правда, есть одна неприятная особенность в sqlite, связанная со строками. sqlite не умеет в регистронезависимый поиск.