А вот и ответ: за количество файлов, которые могут быть закэшированы овтечает параметр kern.maxvnodes. У меня он был равен 20000. Так как файлов много (26к), часть не попадала в кэш. После увеличения параметра все работает как надо.
upd. Общий объем памяти, которая может использоваться для кэша дисков - vfs.maxbufspace. Для увеличения в x64 тюнить kern.nbuf: vfs.maxbufspace / 16384 = kern.nbuf(ro, loader.conf)