Николай Бараненко

решение выглядит так
сменил тип данных на TimeStamp и sql был лишним в ResultSet result = prepStmt.executeQuery(sql);

Calendar fDATETIME = Calendar.getInstance(); // creates calendar
        Calendar tDATETIME = Calendar.getInstance();
        SimpleDateFormat ShortDateFormat = new SimpleDateFormat("dd.MM.yyyy HH:mm:ss");
        SimpleDateFormat DateFormatForSQLOracle = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

        fDATETIME.setTime(ShortDateFormat.parse(DATETIME_FROM));
        tDATETIME.setTime(ShortDateFormat.parse(DATETIME_TO));

        try (Connection conn = DriverManager.getConnection(DB_URL_Connection, DB_UserName, DB_Password)) {
            PreparedStatement prepStmt = conn.prepareStatement(sql);
            prepStmt.setTimestamp(1, java.sql.Timestamp.valueOf(DateFormatForSQLOracle.format(fDATETIME.getTime())));
            prepStmt.setTimestamp(2, java.sql.Timestamp.valueOf(DateFormatForSQLOracle.format(tDATETIME.getTime())));
            prepStmt.setString(3, "%Хост: %");

            ResultSet result = prepStmt.executeQuery();

по-молчанию сеанс cmd имеет кодировку 866.
если мы создали БД с 1251 и делаем insert в cmd, то перед подключением к БД необходимо переключить кодовую страницу на 1251

c:\Server\Apache\bin>chcp
Текущая кодовая страница: 866
c:\Server\Apache\bin>chcp 1251
Текущая кодовая страница: 1251

и только потом подключать к БД и выполнять insert

SQL> select * from customers;

          ID NAME
============ ==================================================
           1 first
           2 ўв®а®©
           4 зҐвўҐавл©
           5 пятый

в firebird.conf
вносим изменения

AuthServer = Srp, Legacy_Auth
UserManager = Srp, Legacy_Auth
WireCrypt = Enabled

создаем пользователя

CREATE USER SYS PASSWORD 'пароль' USING PLUGIN Legacy_UserManager;

и выдаем права к примеру на таблицу CUSTOMERS

GRANT SELECT, UPDATE, INSERT, DELETE ON customers TO SYS;

проблему решил

props.put("fileExtention","");