ORM и драйвер (клиент СУБД) - это несколько разные вещи и у них разные задачи. В ORM (с правильной архитектурой) не интегрируют драйвера. Поддержка той или иной СУБД со стороны ORM ограничивается поддержкой специфических особенностями SQL-синтаксиса и специфических фичей конкретной СУБД.
Наличие самих драйверов требуется для большинства ORM.
Если использование JDBC-драйвера по каким-то причинам неприемлемо, то остается вариант - отказаться от полноценной ORM и пользоваться альтернативными клиентами (не JDBC-совместимыми), типа
sqlite4java.