использует много slab-памяти (90Гб), согласно выводу atop, является ли это утечкой памяти
Не обязательно. SLAB -- это механизм динамического выделения памяти внутри ядра для объектов одинкаового размера. Можно посмотреть на распределение памяти по типам SLAB-кешей командой slabtop, чтобы примерно понять, кем эта память используется. Жизненный цикл SLAB-кешей выделенных драйвером зависит от логики этого драйвера и может быть дольше, чем, например, жизненный цикл виртуальных машин. На утечку может указывать например то, что SLABы остаются после выгрузки драйвера который их создал.