Как сказано было выше, надо использовать следующий код
@Query(value = "FROM Task WHERE (Tasksid = null) AND Operator IN (:OperatorIds)")
Set<Task> qualityTaskWIthoutCOmparsionId(@Param("OperatorIds") List<Long> OperatorIds);
А ошибка
org.postgresql.util.PSQLException: ERROR: operator does not exist: bigint = bytea
появляется скорее всего из-за того, что приходит null
