Задать вопрос
  • Где выполнять маппинг данных из разных таблиц базы данных на frontend или на backend?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Нет запрета на использование маппингов на фронте. Но я-бы дополнительно проверил
    что пользователь не имеет возможности каким-то образом влиять на этот маппинг
    всякими инжекциями и попытками сломать логику и создать security issue.

    Обыно для крупных проектов нет проблем с хранением DTO/Entities на многих слоях приложения.
    Только тебе надо подняпрячся и один раз создать некий стандарт на хранение маппингов. Можно
    даже не в коде а в виде json/yaml и использовать эти DSL для генерации кода на все другие слои.
    Ответ написан
    Комментировать
  • Почему диск SSD удаляется со всеми данными? Как-будто сам форматировался?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Почему диск стерся?

    Я думаю что никто в топике не в состоянии ответить на этот вопрос.

    Диск нужно нести в сервисный центр. Пускай его там тестируют. Возможно был перегрев.
    Ответ написан
    Комментировать
  • Потянет ли unreal engine 4?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я очень хочу заняться разработкой игр, но переучиваться на c# и использовать unity не хочу

    Вот фраза немножко в ступор загнала. Здесь нужна предыстория. Видимо ты уже офигеть какой
    опытный в С++ и так держа руки в карамнах и пожевывая спичку во рту легко бросаешся профи-фразочками.

    Расскажи с какого языка ты хочешь свичнуться!

    В скобках замечу что на собеседованиях по UE больше спрашивают сам UE а не С++. Да-да дружище.
    В наше время знания фреймворка уже превалируют над языком.

    ОЗУ: 8 гб
    - Процессор: Intel(R) Pentium(R) 3558U @ 1.70GHz 1.70 GHz

    Это офисный ПК и процессор образца 2014 года. И он не предназначен для запуска игр. В его описании
    так и написано. Какая здесь может быть проблема. Как разработчик игры, ты должен видеть output.
    Ты должен ощущать игру так как ее будет ощущать игрок бюджетной конфигурации текущего (2023)
    года. Если ты ее не видишь как видит игрок то соотв ты будешь делать очень странную инди-игру
    которая как раз и будет игрой для офисных ПК 14 года. Вобщем не занимайся ерундой.
    Купи себе нормальный десктоп. Ноуты - это баловство.
    Ответ написан
    2 комментария
  • Интернет провайдер видит МАС всех компов, подключённых к модему?

    mayton2019
    @mayton2019
    Bigdata Engineer
    По первым шести символам мак адреса можно определить производителя сетевого устройства.
    Вот как тут пишут https://dnschecker.org/mac-lookup.php

    Ну а оставшиеся цифры - ХЗ. Номер в серии наверное. 16 млн слотов зарезервировано.

    Даже если-бы провадер и знал. И что с того?

    Вот я подкючен проводом ethernet к гигабитному интернету. И провайдер видит mac моего роутера.
    Потом назначает айпишник согласно плану DHCP. И забывает нахрен. Больше этот мак нигде не нужен.
    Ответ написан
    Комментировать
  • Не работает INSERT INTO, почему?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Открой MySQL консоль и выполни эту команду с конкретными параметрами

    INSERT INTO `films`(`img`, `img_vertical`, `trayler`,`film_categories`, `name`, `state`, `sinops`, `roles`, `creators`, `awards`) VALUES (................


    Увидишь ошибку и пояснение. Предположительно там идет нарушение unique key либо констрейнта not null.
    Ответ написан
  • Как сделать в MySQL изменение поля строки через время?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Ну вообще базы так не делают. Их стараются делать в стиле WORM (Write Once - Read Many).
    Вот. И долбить по таблице каждую секунду проверяя записи - это создавать нагрузку как майнер.
    А зачем эта нагрузка? Атмосферу зря нагревать.

    Вот пускай тот бизнес-процесс, который считывает поле suc - сам и обновляет и проверяет.
    Это будет рационально. А пока он не считывает - никаких проблем и нет. Данные лежат
    стационарно и не мешают.
    Ответ написан
    Комментировать
  • Как посчитать значение до прибавления к ней процента?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Ответ - это решение уравнения

    x + 0.05x = 950
    Ответ написан
  • Что делать, когда Wolfram говорит, что будет корень, а считать не хочет - a³+b³=z³?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Дружище Корень. Вижу прошло пару месяцев а ты все тот-же Ферматист :)

    Я не знаком с пакетом Вольфрам. Но его делал очень умный человек. И я думаю что символьные
    вычисления там тоже поддерживаются.

    Но такие вычисления обычно подходят под расчеты с дробями. Например 1/2 + 1/3 = 1
    в символьных вычислениях поддерживаются. Это позволяет точнее посчитать
    пределы например.

    То что ты посчитал - это трансцедентное число.

    z = exp((1/3)*log(664572³ + 257118³))

    Из-за логарифма внутри.
    Везде где есть синусы, логарифмы (ряды Тейлора) мы можем говорить об этом
    свойстве чисел. Грубо говоря это число которое мы не можем в общем случае
    получить путем конечного числа операций над рациональными числами.

    И обычно в физике и в инженерном деле логарифмы и экспоненты считают приближенно.
    Используя float, double и extended (80bit). И этого хватает чтоб запускать ракеты на Марс.

    Их никто не считает точно, просто по той причине что их нельзя представить точно.
    У нас не хватит памяти всех датацентров чтоб точно такое считать.

    Иногда в очень-очень редких случаях математический пакет может упростить формулу
    аналитически (exp(log(x)) и получить более простые цифры без свойства трансцедентности.
    Почитай документацию по MathCad, MatLab, может там такое тоже есть.

    Я также упрекаю тебя в невнимательности. Я тебе в прошлый раз делал акцент на типах
    данных. И ты это благополучно проигнорировал. И снова ты полез в теорию чисел и Ферма
    даже не понимая с каким типом данных работает Вольфрам. Разберись сначала с этим вопросом.
    Иначе будешь всегда выглядеть почемучкой.
    Ответ написан
    6 комментариев
  • Seed для CRC32?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я сразу попробую ответить на главный вопрос.

    написать хэш-таблицу без коллизий


    Написать такую таблицу можно если мы заранее знаем весь набор данных (в случае автора это
    множество ключей (K). Здесь для простоты предполагаем что ключи - это целые числа int32 (DWORD).

    Алгоритм примерно такой:
    1) Берем размер хеш-таблицы в n = size(K). Метод открытой адресации.
    2) Берем любую хеш-функцию (по области определения больше чем n
    SHA1, MD5, xxhash, mur-mur-hash)
    3) Начинаем наполнять таблицу.
    4) Как только детектирована коллизия - удаляем старую таблицу и создаем новую
    с размером например 120% от исходного n.
    5) Повторяем алгортм до тех пор пока не будут расставлены все ключи.

    Profit.

    Если мы не знаем наши данные изначально (у нас их нет и мы не знаем количество и тип данных)
    то мы не можем гарантировать отсустствие коллизий хотя-бы потому что у нас
    нету такой хеш функции которая бы гарантировала отсутствие коллизий на вариативном
    типе данных
    .

    Изучать хеширование на базе целых чисел - вобщем-то не интересно. Более общий случай - это
    строки (String) и я-бы делал эксперименты со строками и с реальными данными (мобильные
    телефоны емейлы налоговые номера и прочее). Целые числа - это .... слишком синтетические
    тесты и их результаты потом никуда натянуть нельзя.

    UPD: Алгоритм в таком виде не работает. По крайней мере от коллизий мы не избавились.
    Не голосуйте здесь пока.
    Ответ написан
  • Как сделать стрельбу под бит трека?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Думаю да. Нужно наверное отказаться от mp3 и сделать трекерную музыку.

    Я вот когда играл в Serious Sam -1 помню там когда enemies наполняли локацию - то и музыка
    как-то усиливалась и угнетала сильно. Но в Сэме наверное трекерная музыка была. Там проще
    было ритм и музыкальные партии задавать просто меняя семплы.
    Ответ написан
    3 комментария
  • Как разложить URL path на части?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Ну во всех языках есть функция чтоб разбить строку на составляющие по символу разделителю. Например

    https://stackoverflow.com/questions/5159086/php-sp...
    Ответ написан
    2 комментария
  • Как хешировать в хеш таблице узлы дерева?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Дружище тебе не надо портить дерево. Оно и так хорошо.
    Просто заведи отдельную хеш-таблицу и трекай две структуры
    одновременно.

    LRU например так и делает. Цепной список + Hashtable.
    Ответ написан
    Комментировать
  • Будет ли разница при воспроизведении 4к на разных дисках?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Да. Идея хорошая включить более тихие и медленные диски на 5600. Для домашнего кинотеатра - циркулярные
    пилы не нужны. Я как-то видел как инженеры по системам хранения включали хранилище Clarion на Hitachi 14 000 оборотов. Ну и блинов там в стойке было штук 20. Ну было ощущение что рядом взлетает истребитель.

    По поводу 5600. Посмотри как они включены. В современных матерях стоят уже SATA 3.0 но чорт его знает. Я видел гибриды где были и новые слоты и старые.

    Сколько нужно для просмотра кина в 4К качестве я не знаю. Это очень хитрый и лукавый вопрос. Дело
    в том что 4К трафик сильно зависит не только от разрешения но и от того как релизер сжал кино или
    сериал. Я никогда не сжимал 4К. Мне хватает FullHD для сериалов. Но я пережимаю через ffmpeg
    заменяя кодек звука и видео просто на тот который подходит под 2 моих стареньких телевизора LG.
    Могу показать скрипты. По сути я заменяю видеоряд AVC на libx264 и звук на mp3. Вот и 60 fps можно
    тоже проредить в 2 раза. Мне вот кино привычнее смотреть так. А аниме сериалы вообще едвали
    до 10 фпс доходят.

    Еще есть у меня мысль что под громким маркетинговым термином 4К могут быть скрыты несколько разрешений
    меньшего размера. Тут - таже история что и с Wifi/3g/4g. Эти термины созданы чтобы продавать нам
    услуги но они не гарантируют полосу и не являются технической спецификацией. По крайней
    мере 4К существует 2 вида.

    Поэтому качайте с торрента любое разрешение и скорость. И потом за 3-4 итерации пережатия
    можно всегда найти набор параметров чтоб воспроизводилось на медленных дисках. И
    я готов спорить что разницу вы особо не заметите.
    Ответ написан
    3 комментария
  • Можно ли реагировать на нагрузку mysql в реальном времени?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Проблему надо искать не в MySQL а в прикладном коде который эту нагрузку создает. Я так понимаю что это либо PHP либо Python либо Node приложение. Смотрите какой там размер пула коннектов. Допустим 20. Сделайте 10 и повторите наблюдение.

    Есть шаблоны ограничения нагрузки такие как Cirquit Breaker. Почитайте в этом направлении.

    Я пробовал включать лог медленных запросов

    Медленных может не быть. Если допустим это крупный магазин - то он может создавать тысячи мелких запросов которые в общей своей массе создают нагрузку но в категорию медленных все равно не заходят.

    хостер VDS включает троттлинг

    Это очень плохо. Зачем такой хостинг нужен. Это искажает картину анализа происходящего.
    Найдите другой хостинг. Или не покупайте виртуалки. Купите сразу MySQL как услугу. Может
    это будет дешевле стоить и обслуживаться проще.

    Можно ли как-то реагировать не аномальное возрастание нагрузки на mysql

    Реагировать должно само приложение. Разговаривайте с разработчиками. Они знают что за
    SQL запросы работают и у них диапазон возможностей гораздо шире. Пусть кешируют. Пусть
    больше логики переносят на приложение.

    Админ или девопс конешно может написать баш-скрипты которые отстреливают процессы,
    но какая с этого польза для бизнеса? Задача делается как раз для предоставления
    услуги
    . Вот надо и в этом направлении работать.
    Ответ написан
    Комментировать
  • Как узнать найти и извлечь PaReq, не будучи программистом?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Татьяна. Техническое задание так не пишут. Напишите что дано. Какие стандарты и протоколы там работают.
    Приведите пример данных. И пример того как оно должно быть на выходе.
    Может и можно извлечь. А может и нет. Черт его знает. Но при такой постановке вопроса вы можете спршивать
    гугл или чят-GPT и пробовать рецепты длиной в 1 строчку.
    Ответ написан
    Комментировать
  • Как оформить код?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В коде повторяется вектор векторов int. Это по смыслу - матрица. Вот можно создать свой тип матрица или после такой подстановки будет яснее и короче.
    Ответ написан
    Комментировать
  • Как предотвращать XSS в Spring?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Зачем делать что-то для галочки? Если ты внедрил функцию то ты должен понимать те кейсы в которых она
    работат. Попробуй сам воспроизведи XSS-атаку на себя и проверь как она работает.

    Иначе будет в исходниках балласт который ты себе объяснить не можешь и newcomer придет и будет спрашивать про исходник а ты и ему не объяснишь.
    Ответ написан
    Комментировать
  • Почему моя нейросеть по распознованию цифр MNIST не работает?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Несколько соображений. Я думаю что для решения MNIST задач никакие огромные числа не нужны.
    НС идеологически способны работать на малом диапазоне плавающей точки. И функции активации
    (если таковые есть) обычно этому способствуют.

    Numpy в данном случае имеет преимущество вовсе не в больших числах а в операциях над векторами и матрицами.

    С твоей ситуацией низкого перформанса никто разбираться не будет. Нет ошибки - и нет ответа.
    Если медленная скорость - ищи гиперпараметр η (греческая буква) - он регулирует скоросить.
    алгортмов обратного распространения ошибки. (В разной литературе он может и по другому называться)

    Учись по курсам. Потому что учить тебя нейросетям здесь бесплатно точно никто не будет. И это
    технически невозможно в формате ответов.
    Ответ написан
  • Как устроить кеширование облака на VPS?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Идея регулируемого тарифа заложена например в AWS S3 хранилище. Там вы для старых файлов можете просто задать атрибут storage class и указать более жлобские модели хранения вплоть до ленточного архива. Но установкой атрибута класса хранения вы будете сами управлять.

    Очень сильно стоит вопрос определения "старости файлов". Я-бы учитывал частоту доступа за период. К пример кто-то может интересоваться старыми проектными файлами и алгоритм балансировки должен это как-то учитывать.

    И внешнаяя ссылка на файл вообще не должна изменяться.
    Ответ написан
    3 комментария