protven

С насколько большим количеством данных? Спринг, в общем-то, совсем не про то. Вы наверное про Spring Batch. И при чем тут BigData ? Оба инструмента, Spring Batch и Talend - они скорее про ETL. В целом есть очень положительный опыт по разработке ETL процесса с помощью Спринг Батча. Там правда у меня задача очень хорошо ложилась на флоу Батча, но тем не менее. Надо было выгрузить примерно 5 миллиардов записей из Оракла, некоторым образом их обогатить (сходить в несколько сторонних сервисов) и записать обогащенные данные в другую базу. При этом обеспечить возможность начать с того же места, где закончили при аварии и паралелльную обработку. Разработка заняла пару дней, выполнение задачи еще сутки. Вообще если вам нужна именно "BigData"(прости господи), то смотрите в сторону более характерных инструментов для именно бигдаты. Flume, Sqoop, Kafka, Spark, Hadoop, etc.

wireshark

Послушайте, может вам делом заняться, а не вопросы на тостере строчить ?
Вы уже десятый наверное по счету вопрос задаете, на схожую тему. Вы понимаете что просто прокрастинируете?
Вот вам универсальный ответ на все ваши вопросы, если надумаете настрочить еще один - перечитайте этот ответ

Вопрос: Куда бы вы посоветовали двигаться?
Ответ: Если не закончили ВУЗ, то заканчивайте. Если закончились - двигайтесь на ближайшее собеседование, куда позовут.

Вопрос: Стать высококлассным разработчиком или исследователем?
Ответ: Становитесь. Но для начала хотя бы найдите работу за деньги. Или хотя бы стажировку за опыт.

Вопрос: Где больше зарплата?
Ответ: В Роснефти, на должности гендира. К сожалению вакансия одна и занята, идите куда угодно, где вам будут платить за ваши умения.

Вопрос: Где проекты интереснее?
Ответ: В компаниях, у которых основной бизнес посроен на "интересных проектах". Институты, инновационные компании и тд. Вас туда все равно не возьмут, крутых студентов хантят курса со второго.

Вопрос: Где тяжелее работать?
Ответ: В шахте. Если нравится тяжелая работа, то зачем вам в IT, тут обычно кондиционируемый офис.

Вопрос: Где больше личной свободы?
Ответ: Максимум свободы обладают люди без обременения в виде работы, семьи и недвижимости. Если вы про работу, то везде плюс-минус одинаково. Идите на собеседование и спрашивайте про то, что входит в конкретно ваши понятия личной свободы.

Вопрос: Где можно лучше самореализоваться?
Ответ: Не тут. И скорее всего не на офисной работе в ближайшие лет 10. Как только станете профи, и займете должность архитектора проекта - реализуйтесь на здоровье, но опять же в рамках того, что хочет от вас бизнес.
Если хотите раньше - пишите свои пет-проекты и коммитьте в опен-сорс.

Самый общий - Object. Общее уже некуда. Настоящий вопрос какой? Как написать единую функцию для работы с любыми множествами ? Никак. Только костыли, когда вы проверяете что пришло на вход, Collection или Array и выполняете соответсвующий код.
Можете перегрузить метод, например так

private int someFunction(Collection<?> collection) {
        int result = 0;
        /* Do some work*/
        return result;
    }

    private int someFunction(int[] array) {
        return someFunction(Arrays.asList(array));
    }

Elements result = doc.getElementsByTag("b:FailedCount");
        result.addAll(doc.getElementsByTag("b:SucceededCount"));

И дальше итерируйтесь по result.

PS Всегда смотрите что у вас за объекты и какие методы они предоставляют. Так, Elements это по сути обычный явовский ArrayList, с которым можно работать используя его стандартные методы.

Если кратко, то обычно, когда у вас есть какой-то сервер приложений, вы там создаете всякие ресурсы (data-source, jms, etc) средствами самого сервера, а не внутри своего приложения. А приложение уже получает ссылку на ресурс из JNDI по имени ресурса.

Вы совершаете типичную ошибку новичка, вместо того чтобы учить спринг, начинаете задаваться вопросом-
"А что выгоднее <тут какой-то абстрактный вопрос, который нужно решать уже в боевом проекте>".
В целом это такой себе вариант проявления прокрастинации.

У вас сейчас есть дефицит памяти при деплое ? Если да, то докупите памяти, она стоит копейки или не запускайте много экземпляров приложения и продолжайте учить спринг.
Если нет, то продолжайте учить спринг.

PS Разница есть, и она в пользу одного Томката на несколько приложений. Но разница ничтожная. Использовать ембеддед контейнеры сервлетов выгоднее с точки зрения микро-сервисной архитектуры. Но вам это сейчас не нужно.

RTFM и google it. Стыдно
https://stackoverflow.com/questions/44079419/creat...

TomCat - контейнер сервлетов. Glassfish - референсная реализации сервера приложений JEE. То есть кроме контейнера сервлетов, GF содержит в себе реализации других технологий JavaEE, например EJB, JPA, JMS и тд.

Если пишите на спринге - берите Томкат и не парьтесь.

Вообще у мейвена своя переменная окружения - MAVEN_OPTS. Попробуйте выставить ее. Но вообще это мягко говоря странно, что при сборке проекта вылезает OOM PermGen. Что собираете, если не секрет ?

Какая ява-то ? Если восьмая, то почему бы не использовать stream api ?
И поверьте, в подобных вещах не стоит заморачиваться по поводу "скорости". Лучше сосредоточтись на читаемости кода. Натурально. 99.9% узких мест в любой мало-мальски полезной системе - это чтение из БД, передача данных по сети, чтение/запись на диск. Если у вас узкое место это итерация по стандартным джавайским коллекциям и вам нужно это место оптимизировать, значит у вас или сферический пример в вакууме, а не прикладная система, либо все настолько круто, что можно только позавидовать.

С помощью родного java stream api и чтобы было красиво и компактно - никак. Действительно, проще циклами.
С помощью сторонних либ, который реализуют функцию "zip" для коллекций - элементарно.
Например https://github.com/poetix/protonpack#zip

Если хочется элегантной и лаконичной работы с коллекциями в функциональном стиле, то смотрите в сторону Scala, а еще лучше Clojure, вот там с этим проблем нет.