Оказалось все просто
->with(['usersParams.users' => function ($q) use ($office) {
$q->addParams(['officeid' => $office->id]);
}
параметр, видимо, передается в обе связи
поэтому просто в необходимой связи дописываем ->onCondition('office_id = :officeid');