Задать вопрос
mayton2019

mayton2019

Bigdata Engineer
Ответы

  • Как оптимизировать базу данных?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Два действия полностью противоречат друг другу.

    Оптимизирую сайт по скорости загрузки

    Добавляем индекс по полю publication


    Во время интенсивной загрузки индексы и триггеры и констрейнты мешают. Их выключают обычно.

    Вообще чтоб дальше продолжать обсуждать - надо задать много вопросов. Что вы делаете вообще? Вы 1 раз загружаете или каждый день будете загружать?

    Это одноразовый запрос
    SELECT COUNT(*)
    или будете каждый день его дёргать?

    Все эти вопросы важны чтобы понять в какую сторону вы хотите улучшать. Оптимизация БД - это система компромиссов. Вы в одном месте что-то отключаете или наоборот включаете чтобы получить перформанс. Но вы теряете что-то в другом.
    Ответ написан
    10 комментариев
    10 комментариев

  • Как определить утечку памяти (JS)?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я не специалист в JS. И я подозреваю что там - полно всяких хитростей и прочих тулов которые могут дать подсказку. Но с точки зрения back-end разработки я-бы сказал что утечка - это ситуация когда в памяти удерживаются ресурсы которые уже не нужны для вычислений но тем не меннее эти ресурсы удерживаются каким-то глобальным объектом, время жизни которого слишком велико чтобы была ощутима польза от этих ресурсов.

    Вот такое вот странное определение.
    Ответ написан
    2 комментария
    2 комментария

  • Как синхронизировать операционную систему (windows или линукс) на разных компьютерах?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Насчет данных. Мне кажется удобнее всего - завести платный закрытый проект на gihub/bitbucket и просто делать git pull всех МоихДокументов. К удобству этого метода - можно фиксить конфликты. Это если ты успел обновить один файл и на винде и на линуксе.

    А вот насчет настроек - тут сложно. Я думаю что настройки будут просто несовместимы для этих операционок и этим вопросом лучше не заморачиваться. Или писать кустарные скрипты для всех-всех приложений. Типа экспорт настроек в какой-то кросс-платформаенный формат типа XML. И импорт в другом месте.
    Ответ написан
    2 комментария
    2 комментария

  • Каким образом можно найти отрицательные чиссла в массиве Java?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Это задачка из всяких коде-варс и литкодов. И ее иногда спрашивают на собесах.
    Ее можно решать многими способами, но наиболее наглядный - это сортировать массив
    и далее искать шагая слева и справа одновременно и сравнивая значения.
    Ответ написан
    Комментировать
    Комментировать

  • Почему результат операции равен 3?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Все правильно. 3 по модулю 10 это три.
    Ответ написан
    Комментировать
    Комментировать

  • Есть ли способ для угадывания шаблонов в логах?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Сомнительно что по огрызку лога ты сможешь нарисовать более-менее полный шаблон. Как вспомогательная подсказка при разработке парсера - это хорошо. Но как авто-генерация парсера логов на все времена - это плохо.
    Да и вообще message не специфицирован в логах аж нигде и никогда. Сиди наблюдай его хоть целую неделю а потом на следующей неделе прилетит exception или нечто новое и вся твоя работа будет вечной недоделкой.
    Ответ написан
    1 комментарий
    1 комментарий

  • Как соединить spring framework 5 и hibernate 6?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Загляни сюда https://mvnrepository.com/artifact/org.hibernate.o...

    Тут история начинается только 6.0.0-alpha и никаких пятых версий не было.
    Ответ написан
    3 комментария
    3 комментария

  • Как организовать работу между форками?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Как построить их работу так, чтобы в основной репозиторий всё попало одним пулл-реквестом (желательно от программиста)?

    Непонятно, какая при этом решается задача. Просто эстетика? Или страх неконсистентного пул-реквеста?

    Если на проекте правильно простроено авто-тестирование - то вы можете коммитить маленькими кусочками и проект всегда будет хорош для использования. И откат на шаг назад вам будет сделать легче.

    Если нет - то тогда вам нужен некий внутренний тестировщик который может что-то быстро проверить и поставить тег что дескыть здесь окей и можно делать промежуточный релиз-кандидат или релиз.
    Ответ написан
    Комментировать
    Комментировать

  • Где хранить важные ключи в программе?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Судя по .exe - речь идет о Windows-разработке. Поэтому надо отбросить все сомнения и читать документацию от производителя. Вот что пишет производитель. Есть API:

    https://learn.microsoft.com/en-us/windows/win32/ap...

    Вот есть функция полезная CryptProtectData

    И это будет лучше решение из всего питонского и кросс-платформенного.
    Ответ написан
    5 комментариев
    5 комментариев

  • Sequlize postgres как изменить начальное значение auto increment?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можешь сразу после создания таблицы - вставить в нее 10 строк и тут-же удалить. :)
    Ответ написан
    Комментировать
    Комментировать

  • Можно ли без маркеров измерять фактический FPS видео?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я могу ошибаться но с точки зрения современных видео-кодеков понятие кадр-в-секунду уже не существует. Грубо говоря кодек может фиксировать изменения с частотой 60Гц но алгоритмы сжатия не гарантируют что именно ПОЛНЫЙ кадр (все пиксели будут обновлены). За полседние лет 10 вообще создатели видео-кодеков - молодцы - прошли такой путь развития. Они научились детектировать панорамирование и очень умным образом кодировать только те фрагменты кадра которые интересны нашему глазу.

    В качестве доказательства моих слов. Я предлагаю вам сгенерировать sequence картинок где есть рандомый цветной шум из пикселов и сжать его vdub или ffmpeg с нужной частотой и хорошим сжатием и потом посмотрите по кадрам что реально меняется и что сильно БЛУРИТСЯ и ГДЕ обновляется.
    Ответ написан
    3 комментария
    3 комментария

  • Как дублировать элемент внутреннего массива в двумерном массиве?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Масствы в Java - достаточно статичные и жесткие чтобы их растягивать. Обычно создают новый массив нужного размера (в твоём случае это удвоенный размер) и старые данные копируют с удвоением.
    Ответ написан
    Комментировать
    Комментировать

  • Как реализовать рекурсию в UML (диаграммы классов)?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Напомню что UML - это набор различных способов описывать сущности мира информатики. И типов диаграмм бывает много. Под данную задачу подходит и реляционная диаграмма и диаграмма классов.

    В обоих из них можно изобразить стрелочкой или агрегацию (для классов) или связь child-parent как ссылочный
    ключ в таблицах.

    В случае с классами достаточно просто описать что поле имеет тот-же тип что и сам класс. Это будет всем понятно.
    Ответ написан
    Комментировать
    Комментировать

  • Имею базу в формате txt размером 2gb, как отсортировать по количеству символов на строку?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Это задача на смекалку. Тут на самом деле сортировать не надо. Тут нужен роутинг слов в разные файлы.
    В 1 проход делается. Разумеется мы должны предполагать что в 2Гб файле будут не сильно длинные строки.

    Допустим для среднего текстового файла 80 символов на строку (стандарт такой был в 20м веке) мы получим
    80 файлов.

    По смыслу это похоже на сортировку подсчетом. Это когда кардинальность выборки крайне низка. Гендер например.
    Ответ написан
    Комментировать
    Комментировать

  • Имеется ли разница в мобильном Java приложении между double и int в JSON ответе?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Вобщем вики пишет по поводу самого стандарта JSON:
    Number: a signed decimal number that may contain a fractional part and may use exponential E notation, but cannot include non-numbers such as NaN. The format makes no distinction between integer and floating-point. JavaScript uses IEEE-754 double-precision floating-point format for all its numeric values (until later also supports BigInt[24]), but other languages implementing JSON may encode numbers differently.


    Вобщем получается что стандарту пофиг. И интерпретацию числа он отдает на откуп программным средствам.
    И мне кажется что Андроид здесь вообще не при делах. Это слишком общее понятие. Гораздо важнее какой JSON-парсер вы используете в коде. Всего парсеров - огромный вагон. Но я вот регулярно использую 2 из них.
    - Google GSON.
    - Jackson
    Вот попробуйте распарсить ваш документ с использованием г-сона и джаксона и посмотрите что будет на выходе. Там почти всегда рекурсивное дерево из таких шаблонов LinkedHashmap[String,Object] где вместо обжекта будет стоять то что вы ищете.
    Ответ написан
    4 комментария
    4 комментария

  • Реализация автоматического обновления БД?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если в нерабочее время - то можно было-бы убивать тестовую базу ночью. Копировать все датафайлы продуктовой. И стартовать ее снова. Ну там.. внеся какие-то косметические изменения в конфиг если надо.

    Это самый быстрый способ IMHO. Но я его использовал под Oracle. Как будет комфортно для MySQL - чорт его знает.
    Ответ написан
    Комментировать
    Комментировать

  • Случайно удалил ~/.local/share папку. Забыл, что там может быть критичного?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Это хорошая практика для очистки от хлама. Мы так выводили старые сервера из эксплуатации. Отключим в пятницу. Если до четверга никто не закричал - то сервер не нужен. И парочка таки оказалась не нужна.
    Ответ написан
    3 комментария
    3 комментария

  • Что я делаю не так, и почему нейросеть не генерирует уникальный текст?

    mayton2019
    @mayton2019
    Bigdata Engineer
    А откуда вытекает утверждение об уникальности? На самом деле я не знаю. Но мне интересно, понимает ли автор свойства своего кода.
    Ответ написан
    8 комментариев
    8 комментариев

  • Какая физика нужна разработчику игр?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Разработчик геймдева должен знать хорошо классическую механику. Я вот лет 15 назад пытался создать свою игру. Эдакий гибрид танчиков и майнкрафта но не вышло. У меня не хватало просто времени чтобы опробовать свои решения в части например взаимодействия твердых тел. Да и боюсь уже никогда не будет. Семья. Работа.

    А в современных играх есть механикка жидкостей (флуидов) газов и таже тканей. Есть фреймворки наподобие PhyzX, Bullet но я-бы за них брался только после того как сам пойму как эта физика работает. Иначе вместо красивой игры можно сделать слайд-шоу и загрузить процессор расчетом молекул. А геймеру что надо? Ему вообще физика собсно не надо. Ему нужна эффектность. Тоесть там где не тянет CPU - надо просто добавить эффект ПОХОЖИЙ на физический.
    Ответ написан
    Комментировать
    Комментировать

  • На чем лучше делать ML-движок/модель - на Python или C++? Где библиотек больше и т.п.?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Практически все т.н. "движки" пишуться на C/C++. Это связано с перформансом. Но к ним делаются библиотеки доступа из других языков. Например Python, Java, e.t.c.

    Но сам вопрос поставлен очень безграмотно. Много гонора и мало представления о предметной области в целом. Автору я очень сильно советую найти настоящего специалиста ML и поговорить с ним.

    Меньше амбиций и гонора. Больше конструктивных вопросов. Что делаем? Какой объем обучающей выборки? Какие факторы? Какого класса обучение делается. Классификация? Прогнозирование? Рекомендательные системы?
    Ответ написан
    3 комментария
    3 комментария