IMHO, основным носителем должна быть карта. Лицо (фото всех сотрудников все равно есть у хыра) - вторым фактором и сравниваться с базой. Что делать в случае, если лицо не совпадает - это уж на ваше усмотрение, можно не пускать, а можно пускать, но с алертом, чтобы СБ отсмотрела, кто зашел.
Пара пистонов и ситуация "Паша дал карточку Васе" исчезнет.