Как эффективно использовать HQL при запросах сущностей с множеством связей?

Можно еще использовать NamedEntityGraph. Я обычно, так делаю

Как ответить на данные вопросы Java?

mayton2019, согласен. Какие-то странные вопросы с позиции Java разработчика.

Как подгрузить две коллекции связанных сущностей минимальным количеством sql запросов?

Dmitry Roo, да, хибернейт, так себе. К слову, EclipseLink & MyBatis тоже особо не радуют.
Что предлагаете взамен использовать? JOOQ?

Как ускорить процесс получения большого объема данных?

Андрей Шишкин, пока что нет. Но если понадобится, то в будущем обязательно подключу

Как ускорить процесс получения большого объема данных?

благодарю за идеи. Мне удалось решить проблему путем batch операций и параллельного стрима для определения координат. Время снизилось с 25 мин до 2-3 минут.

Как ускорить процесс получения большого объема данных?

благодарю за идеи. Мне удалось решить проблему путем batch операций и параллельного стрима для определения координат. Время снизилось с 25 мин до 2-3 минут.

Как ускорить процесс получения большого объема данных?

mayton2019,
благодарю за идеи. Мне удалось решить проблему путем batch операций и параллельного стрима для определения координат. Время снизилось с 25 мин до 2-3 минут.

Как ускорить процесс получения большого объема данных?

rPman,

nominatim у тебя локальная установка или пользуешься их api онлайн?

локальная копия

Может все же проведешь профилирование, jprofiler

Да, скорее всего придется профилировать.

Если все запросы у тебя происходят локально, проверь, нагружена ли машина полностью?

Нет машина, не нагружена. В принципе, я могу нагрузить оперативку и процессор.

Большое спасибо

Как ускорить процесс получения большого объема данных?

Добрый день.
Большое спасибо за ответ. Буду думать, как улучшить сервис.

Это чтение из базы.

Да, это происходит быстро.

Второе это собственно проверки и валидации.

Именно второй этап занимает дольше по времени, так как есть маппинги, валидации, проверки существования записи в БД, поиск координат и прочее.

И третье это собсно запись в БД. Используется ли JDBC-batch?

Да, используется.

Как ускорить процесс получения большого объема данных?

Не доводилось работать с apache spark. Вполне возможно. Благодарю за ответ

Как ускорить процесс получения большого объема данных?

Добрый день. Прежде всего большое спасибо за ответ.

что именно занимает так много времени, проведи профилирование чтобы выяснить где больше всего проводит времени твой код - например внутренняя обработка данных или база данных?

Больше времени затрачивается на внутреннюю обработку, потому что приходится много чего проверять.

По факту -
* получить данные в стрим stream<T> Это происходит быстро
* проверить есть ли запись в БД или нет. Если есть, то сделать equals() и в случае надобности обновить
* комбинируя различные варианты попробовать подобрать координаты. В лучшем случае это 1-2 запроса к nominatim или достаем дефолтные координаты села, города и т.д. из БД.
* Ну и дальше записать все в БД.

Классический пример: для каждой записи ты делаешь запрос - найти соответствующий объект(ы) в базе, прочитать их, изменить и записать результат в базе. нужно сделать так - выгрузить сразу много записей (условно по 1000), изменить их с учетом того что это будет происходить в оперативной памяти, многократная запись одних и тех же объектов не будет занимать столько времени как запись в базу

Согласен. Нужно будет пересмотреть процесс обновления.

Как ускорить процесс получения большого объема данных?

My1Name, добрый день. Это весь процесс занимает примерно столько.

Компилятор выдаёт ошибку 1 при Выставление счета через QIWI. Что делать?

HasanNishanov, да, скорее всего

Компилятор выдаёт ошибку 1 при Выставление счета через QIWI. Что делать?

HasanNishanov,
exception.BadResponseException:
поищите причину этого исключения.

Компилятор выдаёт ошибку 1 при Выставление счета через QIWI. Что делать?

Компилятор выдаёт ошибку 1 при выставление счета киви, вроде всё хорошо статус 200-OK , но что не так с компилятором?

Компилятор нипричем. Смотрите в логах на json ResponseBody.
там будет причина ошибки

Подскажете по архитектуре "мультисервисного" приложения?

Wan-Derer, рад помочь

Как решить проблему с подключение к БД в Android Studio?

com.mysql.jdbc.Driver

Вы хотите подключиться к БД на андроид. Если да, то там sqlite и соответственно драйвер не тот.

но в Android Studio ошибочку выдаёт.

Может баг у IDE есть... мало ли. Попробуйте обновить версию программы или наоборот сделать даунгрейд

WordPress: почему не работает обрезка картинок через add_image_size?

Ksander88, здравствуйте, я давно ушел из сферы ВП, если честно. Рекомендую создать отдельный вопрос и изъяснить суть проблемы там. Желаю успехов

Как реализовать очередь для запросов в рамках сервиса?

Может быть такие фреймворки, как psring Quartz или Spring Batch будут вам полезны в данном случае? не уверен, что это то, что нужно, ибо описана не вся задача, но все же...

Как устранить ошибку CORS?

Кстати, может так получиться что этот конфиг не понадобится при выпуске готового приложения.

Да как-то что на проде, что на тестовом реакт приложение без Java конфигурации не хотело дружить с CORS. А после добавления Java конфигурации заработало.
Еще раз спасибо