Все сервисы Хабра

Сообщество IT-специалистов

Ответы на любые вопросы об IT

Профессиональное развитие в IT

Удаленная работа для IT-специалистов

Войти на сайт
  • Все вопросы
  • Все теги
  • Пользователи

Хабр Q&A — вопросы и ответы для IT-специалистов

Получайте ответы на вопросы по любой теме из области IT от специалистов в этой теме.

Узнать больше
другие проекты хабра
  • Хабр
  • Карьера
  • Фриланс
Задать вопрос
azerphoenix

Орхан Гасанлы

Java Software Engineer
  • 1617
    вклад
  • 112
    вопросов
  • 3128
    ответов
  • 34%
    решений
Комментарии
  • Информация
  • Ответы
  • Вопросы
  • Комментарии
  • Подписки
  • Нравится
  • Достижения
  • Как эффективно использовать HQL при запросах сущностей с множеством связей?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    Можно еще использовать NamedEntityGraph. Я обычно, так делаю
    Написано 16 янв.
  • Как ответить на данные вопросы Java?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    mayton2019, согласен. Какие-то странные вопросы с позиции Java разработчика.
    Написано 13 янв.
  • Как подгрузить две коллекции связанных сущностей минимальным количеством sql запросов?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    Dmitry Roo, да, хибернейт, так себе. К слову, EclipseLink & MyBatis тоже особо не радуют.
    Что предлагаете взамен использовать? JOOQ?
    Написано 07 янв.
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    Андрей Шишкин, пока что нет. Но если понадобится, то в будущем обязательно подключу
    Написано 18 дек. 2022
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    благодарю за идеи. Мне удалось решить проблему путем batch операций и параллельного стрима для определения координат. Время снизилось с 25 мин до 2-3 минут.
    Написано 18 дек. 2022
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    благодарю за идеи. Мне удалось решить проблему путем batch операций и параллельного стрима для определения координат. Время снизилось с 25 мин до 2-3 минут.
    Написано 18 дек. 2022
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    mayton2019,
    благодарю за идеи. Мне удалось решить проблему путем batch операций и параллельного стрима для определения координат. Время снизилось с 25 мин до 2-3 минут.
    Написано 18 дек. 2022
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    rPman,

    nominatim у тебя локальная установка или пользуешься их api онлайн?

    локальная копия

    Может все же проведешь профилирование, jprofiler

    Да, скорее всего придется профилировать.

    Если все запросы у тебя происходят локально, проверь, нагружена ли машина полностью?

    Нет машина, не нагружена. В принципе, я могу нагрузить оперативку и процессор.

    Большое спасибо
    Написано 17 дек. 2022
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    Добрый день.
    Большое спасибо за ответ. Буду думать, как улучшить сервис.

    Это чтение из базы.
    Да, это происходит быстро.

    Второе это собственно проверки и валидации.

    Именно второй этап занимает дольше по времени, так как есть маппинги, валидации, проверки существования записи в БД, поиск координат и прочее.

    И третье это собсно запись в БД. Используется ли JDBC-batch?

    Да, используется.
    Написано 17 дек. 2022
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    Не доводилось работать с apache spark. Вполне возможно. Благодарю за ответ
    Написано 17 дек. 2022
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    Добрый день. Прежде всего большое спасибо за ответ.

    что именно занимает так много времени, проведи профилирование чтобы выяснить где больше всего проводит времени твой код - например внутренняя обработка данных или база данных?

    Больше времени затрачивается на внутреннюю обработку, потому что приходится много чего проверять.

    По факту -
    * получить данные в стрим stream<T> Это происходит быстро
    * проверить есть ли запись в БД или нет. Если есть, то сделать equals() и в случае надобности обновить
    * комбинируя различные варианты попробовать подобрать координаты. В лучшем случае это 1-2 запроса к nominatim или достаем дефолтные координаты села, города и т.д. из БД.
    * Ну и дальше записать все в БД.

    Классический пример: для каждой записи ты делаешь запрос - найти соответствующий объект(ы) в базе, прочитать их, изменить и записать результат в базе. нужно сделать так - выгрузить сразу много записей (условно по 1000), изменить их с учетом того что это будет происходить в оперативной памяти, многократная запись одних и тех же объектов не будет занимать столько времени как запись в базу

    Согласен. Нужно будет пересмотреть процесс обновления.
    Написано 17 дек. 2022
  • Как ускорить процесс получения большого объема данных?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Java
    My1Name, добрый день. Это весь процесс занимает примерно столько.
    Написано 17 дек. 2022
  • Компилятор выдаёт ошибку 1 при Выставление счета через QIWI. Что делать?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    HasanNishanov, да, скорее всего
    Написано 13 дек. 2022
  • Компилятор выдаёт ошибку 1 при Выставление счета через QIWI. Что делать?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    HasanNishanov,
    exception.BadResponseException:
    поищите причину этого исключения.
    Написано 13 дек. 2022
  • Компилятор выдаёт ошибку 1 при Выставление счета через QIWI. Что делать?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    Компилятор выдаёт ошибку 1 при выставление счета киви, вроде всё хорошо статус 200-OK , но что не так с компилятором?

    Компилятор нипричем. Смотрите в логах на json ResponseBody.
    там будет причина ошибки
    Написано 13 дек. 2022
  • Подскажете по архитектуре "мультисервисного" приложения?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    Wan-Derer, рад помочь
    Написано 04 дек. 2022
  • Как решить проблему с подключение к БД в Android Studio?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    com.mysql.jdbc.Driver

    Вы хотите подключиться к БД на андроид. Если да, то там sqlite и соответственно драйвер не тот.
    но в Android Studio ошибочку выдаёт.

    Может баг у IDE есть... мало ли. Попробуйте обновить версию программы или наоборот сделать даунгрейд
    Написано 04 дек. 2022
  • WordPress: почему не работает обрезка картинок через add_image_size?

    azerphoenix
    Орхан Гасанлы @azerphoenix
    Ksander88, здравствуйте, я давно ушел из сферы ВП, если честно. Рекомендую создать отдельный вопрос и изъяснить суть проблемы там. Желаю успехов
    Написано 04 дек. 2022
  • Как реализовать очередь для запросов в рамках сервиса?

    azerphoenix
    Орхан Гасанлы @azerphoenix Куратор тега Java
    Может быть такие фреймворки, как psring Quartz или Spring Batch будут вам полезны в данном случае? не уверен, что это то, что нужно, ибо описана не вся задача, но все же...
    Написано 01 дек. 2022
  • Как устранить ошибку CORS?

    azerphoenix
    Орхан Гасанлы @azerphoenix Автор вопроса, куратор тега Spring
    Кстати, может так получиться что этот конфиг не понадобится при выпуске готового приложения.

    Да как-то что на проде, что на тестовом реакт приложение без Java конфигурации не хотело дружить с CORS. А после добавления Java конфигурации заработало.
    Еще раз спасибо
    Написано 24 нояб. 2022
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • Следующие →
Самые активные сегодня
  • rPman
    • 13 ответов
    • 0 вопросов
  • dimonchik2013
    Dimonchik
    • 8 ответов
    • 0 вопросов
  • Vindicar
    Vindicar
    • 8 ответов
    • 0 вопросов
  • sergey-gornostaev
    Сергей Горностаев
    • 5 ответов
    • 0 вопросов
  • mayton2019
    • 5 ответов
    • 0 вопросов
  • HardBot
    HardBot
    • 5 ответов
    • 0 вопросов
  • © Habr
  • О сервисе
  • Правила
  • Обратная связь
  • Блог

Войдите на сайт

Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации