Задать вопрос
  • Как написать запрос?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я не знаю мне вот чего-то так режет глаза этот distinct.

    SELECT инструктор, дата, SUM(длительность)
    FROM ( SELECT DISTINCT инструктор, дата, начало, длительность
           FROM таблица ) AS алиас
    GROUP BY 1, 2


    Я рассуждаю так. Дата-начало-длительность - это величины. Их нельзя унифицировать. Инструкторы - можно. Но не в комбинации с измерениями. Если у вас данные - грязные - то почистите их и добавте unique. Просто гонять каждый раз унификацию - это как фильтровать фильтрованную воду. Дурная работа вобщемто.
    Ответ написан
    Комментировать
  • Как получить определенное число в цикле с шагом?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    @tailrec
    def getDrinksWithStep(g : Int, step : Int, i : Int = 1, r : Int = 0) : Int = 
      if (i <= g) getDrinksWithStep(g, step, i + step, r + i) else r
    Ответ написан
    Комментировать
  • Отслеживание новых записей в бд в реальном времени?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Богдан. Обычно реляционные БД так не работают. Клиент - спрашивает. БД отвечает. Обратное не делают обычно.

    Отслеживание новых записей - это технически сложная задача потому что нужен буфер и умножение этого буфера на количество подписчиков. Тоесть приходим к полноценной MQ-системе. Обычно БД конфигурируется так что лишних ресурсов на это нет. Да и зачем БД рассылвать уведомления когда это задача сервера приложений.

    Если вы все таки решили спрашивать на зарубежных форумах - то не говорите слово MySQL/SQL. Пишите просто - информационная система и хранилище. Пускай вам советуют с чистого листа как это надо дизайнить.
    Ответ написан
  • Game dev/mobile в России. Как стать разработчиком?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Не знаю насчет россии. Но я-бы шел сразу в корпорацию. Любой ценой. На позицию подмастерья. Менти. Или самого младшего джуна. Через пол-года резюме улучшается и уже можно быть твердым джуном. И подыскивать новое место. Зарабатывать одному - утопия. Нужно быть адски продуктивным чтобы покрыть риски этого нестабильного рынка работ. Тоесть фактически работать 2х или 3х больше чтобы кушать. Нужно очень много коммуницировать с опытными. Звучит неприяно - но надо им ездить по ушам. Сначала вас буду гнать и ругать. Но это не имеет значения. Запоминайте все. Каждое слово старшего в команде разработки во много раз ценнее форумов или онлайн тренингов. Тренинги - это седьмая вода на киселе. Они продают не то что вам надо. А то что надо - только в той корпорации где вы сидите. Я-бы отдал больше денег за 1 час беседы с экспертов чем за 30 дней каких-то курсов. Курсы вообще редко дают то что нужно. Они уже давно стали просто индустрией заработка.

    Готовые проекты выкладывайте в публичный доступ. В них пока нет никакой ценности. Не бойтесь что украдут. Современный опенсорц - это кладбище ненужного никому кода. Код вообще не важен. А важна всегда идея + человек который ее знает и может развивать.
    Ответ написан
    Комментировать
  • Какая у меня специализация?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Тут самое интересное это разработка на Python. Опиши какие библиотеки использовал. С точки зрения рекрутера могут быть интересны такие слова как pandas, bigdata, spark, ML e.t.c. Или также test automation e.t.c. И девопс тоже. Если деплоил в какие-то облака - то опиши в какие.

    Боты с моей точки зрения не имеют никакой ценности для крупного бизнеса. Но нужно повернуть твои знания под правильным углом. Где-то похвастаться. Где-то приврать. Детально все равно не проверят.
    Ответ написан
  • Как сделать запись на основе предыдущей?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Почитай про
    SELECT FOR UDPATE ...

    Точно не помню но кажется не все типы таблиц его проддерживают. Проверь что у тебя innodb.
    Ответ написан
    Комментировать
  • Kafka Consumer re-consume незакомиченные сообщения?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Консюмер вычитывает сообщение, передает его на обработку и если происходит ошибка , то кафка консьюмер откатывает и оставляет незакомиченным.

    Покажи код консьюмера. Это твоя логика. И ты решаешь где тебе делать фиксацию пачки и где не делать.
    Ответ написан
  • Как можно реализовать получение имя вызывающего класса?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Посмотри что вернет

    Thread.currentThread().getStackTrace()

    но не увлекайся и не используй в проде никогда. А то будешь бит коллегами и притом с понижением в звании.
    Ответ написан
    3 комментария
  • Как связать WEB UI с Python?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Не нужен тебе никакой фласк и джанго. У тебя - задача мониторинга процесса. Мониторинг решается через Graphana например. Она всеядная. Можешь писать свою телеметрию в текстовый лог-файл. И Графана просто будет его показывать графиком или числами или кругами вобщем посмотри сам. Там много виджетов.

    Помимо графаны есть еще масса способов отобразить статус процесса. Но я использовал только Гр.
    Ответ написан
  • Как правильно указать тип?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вынеси всю одинаковость в новую функцию. Обработки ошибок и прочее. А кастомные вещи пускай будут в специальных функциях TaskLocal, TaskRemote. Там у тебя останется 5 строчек (я так думаю).
    Ответ написан
    Комментировать
  • Как разархивировать rar файл при помощи питона?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Скорее всего ты пытаешься в кластере Databricks найти архиватор rar. А его там нету.

    Вообще rar это плохая тема для биг-даты. Используйте лучше gzip, bzip2. Они есть везде. Кроме того фреймворк их поддержит из коробки.
    Ответ написан
    2 комментария
  • Какие существуют методы анализа связанности тегов?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Посмотри Collaborative Filtering https://spark.apache.org/docs/latest/ml-collaborat...
    Ответ написан
    Комментировать
  • Как правильно распределить хранение комментариев?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Нужно материализовать ответы. И класть их на быстрое хранилище рядом с кешом типа nginx.
    Ответ написан
  • Торрент тихий убийца ссд?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Современные ssd имеют большой мото-ресурс. Скорее всего они будут убиты чем угодно но не торрентом.

    Убивают их очень активные "пишущие системы". Базы данных с WAL, и все что генерирует логи и просто файлы.

    У тебя что сервер?
    Ответ написан
    2 комментария
  • Как автоматизировать выполнение sql-запросов?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вам определенно нужен девопс который автоматизирует вам выполнение ваших скриптов по календарю. Добавит дашборды с графиками и прочее.

    DataGrip насколько я понимаю это среда разработки. Тоесть она активна пока у вас крышка ноутбука отрыта. Закрыли - всё. Капец все планам.

    Поэтому девопс и еще раз девопс.
    Ответ написан
    Комментировать
  • Как обрезать json до определённого тега?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Есть строка джсона длинной 25000+ строк.

    Это какая-то ерунда. JSON - это никакая не стркоа. Это JavaScript object notation. Собственно это заложено в аббревиатуру. И работать с ним надо через API который работает с JSON.

    Игры со строками ни к чему хорошему не приведут. Пропустишь escaping и будет просто зря потраченное время и забаговнный код.
    Ответ написан
    Комментировать
  • Достаточно ли изучить 1 книгу по Java Core что бы перейти к Spring Framework?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Тема топика - экстремальное изучения языка и фреймворков.

    Лет 10 назад я-бы запретил. И себе и другим. Но сегодня условия войти-в-айти таковы что на все времени не хватает а фичи языков и фреймворков растут. Уже просто изучать целый семестр один язык недостаточно. Вообще мне термин Core непонятен. Если у тебя Java приложение падает по OOM а для решения этой задачи нужен еще ох какой пласт знаний по Linux по организации памяти и по виртуализации Docker то скажите пожалуйста какой Core это описывает. Или другой пример. Вы сделали бизнес приложение с БД которое быстро работает на детских объемах базы. Но когда зашли продуктовые данные - приложение залагало и упало. Вот скажите какой Core этот процесс оптимизации описывает? Да никакой. Есть совокупность инженерных практик начиная от теории алгоритмов и заканчивая тестированием и контрактами.

    Вобщем автор. Ты можешь читать хоть 10 книг одновременно. Просто у тебя должно быть видение того на какую вакансию и должность ты пойдешь. И какие хоть примерно задачи ты будешь решать. Ну и сроки хотя-бы осязаемые. А то так 10 лет можно просидеть.
    Ответ написан
    2 комментария
  • Есть ли штатный способ разбить большой UPDATE на транзакционные части?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можно так попробовать

    CREATE EXTENSION pgcrypto;
    
    BEGIN;
     // Partition 1 of 16
     UPDATE .... WHERE left(digest(ID, 'sha256'),1) = '0' 
    COMMIT;
    
    BEGIN;
     // Partition 2 of 16
     UPDATE .... WHERE left(digest(ID, 'sha256'),1) = '1' 
    COMMIT;


    У Oracle была более простая функция hash(...) которая разделяла сет ключей сразу на известное число партишенов. Там второй аргумент указывался. Но в PG я не знаю аналога. Может знающие подскажут.
    Ответ написан
  • Какую IDE выбрать для разработки на Java?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Программирование Андроид весьма специфично. Там JVM не такая.
    Поэтому я тоже задам вопрос - под какую Java автор хочет разрабатывать.

    У современных IDE количество фич исчислятеся тысячами а если ставить плагины то еще на порядки. И вообще спор на тему IDE он не совсем технический а скорее - спор вкусов. Кому арбузы нравятся а кому дыни. Без конкретной аргументации ибо невозможно дать точное определение вкусам.

    Но если кодить конкртено под Андроид систему то надо смотреть в первую очередь ту IDE которую рекомендует производитель.
    Ответ написан
    1 комментарий
  • Какой формат (кроп или полное с разметкой) изображения лучше применять для обучения нейросети (yolov5)?

    mayton2019
    @mayton2019
    Bigdata Engineer
    А позвольте спросить вы занимаетесь обучением сети "для чего" ?

    Вот в самом вопросе обычно заложен ответ. Если вы хотите проектировать систему детектирующую угон машин по камерам на перекрестках - то никакой кроп вам не нужен. Вы должны создавать условия приближенные к реальным. Если вы просто автоматизиурете учет машин на паркинге (шлакбаум) - тогда можете кропать. Но никаких других требований к вашей системе уже нельзя предьявить.
    Ответ написан
    Комментировать