Как вариант дать тестовое задание, которое соответствует тем задачам, которые должен будет решать java-разработчик. Проверить чтоб "работало". Если работает, то код отправить на проверку знакомому java-разработчику. Если он скажет что всё в норме, то приглашать на собеседование и поговорить с ним уже как с человеком (на наличие адекватности).
Просто заваливать вопросами по java не разбираясь в этом - не вариант, так как правильных ответов может быть много, да и встречный вопрос можно словить по теме.