Да, указан "localhost", в принципе я пробовал и "127.0.0.1".
Но, как только сделал "ping localhost" по вашему совету и получил
Reply from ::1: time<1ms, ситуация немного прояснилась. Далее в Java прописал
ConnectionFactory factory = new ConnectionFactory();
factory.setHost("::1");
и всё заработало.
Спасибо за наводку.
Единственно странно, что C# код
var factory = new ConnectionFactory() { HostName = "localhost"};
справлялся без таких манипуляций.