Если правильно понимаю, то в web.xml добавить
<error-page>
<error-code>401</error-code>
<location>/errors/401.jsp</location>
</error-page>
После чего все с 401 будут пытаться быть перенаправлены на свою страницу с ошибкой, однако, поскольку не авторизованы, то и доступа не получат, для этого стоит
в jsp добавить:
response.addHeader("WWW-Authenticate", "BASIC realm=\"YOUR-REALM\"");
response.setStatus(HttpServletResponse.SC_UNAUTHORIZED);
где название для realm совпадает с тем, что в web.xml