Задать вопрос
  • Не работает INSERT INTO, почему?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Открой MySQL консоль и выполни эту команду с конкретными параметрами

    INSERT INTO `films`(`img`, `img_vertical`, `trayler`,`film_categories`, `name`, `state`, `sinops`, `roles`, `creators`, `awards`) VALUES (................


    Увидишь ошибку и пояснение. Предположительно там идет нарушение unique key либо констрейнта not null.
    Ответ написан
  • Как сделать в MySQL изменение поля строки через время?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Ну вообще базы так не делают. Их стараются делать в стиле WORM (Write Once - Read Many).
    Вот. И долбить по таблице каждую секунду проверяя записи - это создавать нагрузку как майнер.
    А зачем эта нагрузка? Атмосферу зря нагревать.

    Вот пускай тот бизнес-процесс, который считывает поле suc - сам и обновляет и проверяет.
    Это будет рационально. А пока он не считывает - никаких проблем и нет. Данные лежат
    стационарно и не мешают.
    Ответ написан
    Комментировать
  • Как посчитать значение до прибавления к ней процента?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Ответ - это решение уравнения

    x + 0.05x = 950
    Ответ написан
  • Что делать, когда Wolfram говорит, что будет корень, а считать не хочет - a³+b³=z³?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Дружище Корень. Вижу прошло пару месяцев а ты все тот-же Ферматист :)

    Я не знаком с пакетом Вольфрам. Но его делал очень умный человек. И я думаю что символьные
    вычисления там тоже поддерживаются.

    Но такие вычисления обычно подходят под расчеты с дробями. Например 1/2 + 1/3 = 1
    в символьных вычислениях поддерживаются. Это позволяет точнее посчитать
    пределы например.

    То что ты посчитал - это трансцедентное число.

    z = exp((1/3)*log(664572³ + 257118³))

    Из-за логарифма внутри.
    Везде где есть синусы, логарифмы (ряды Тейлора) мы можем говорить об этом
    свойстве чисел. Грубо говоря это число которое мы не можем в общем случае
    получить путем конечного числа операций над рациональными числами.

    И обычно в физике и в инженерном деле логарифмы и экспоненты считают приближенно.
    Используя float, double и extended (80bit). И этого хватает чтоб запускать ракеты на Марс.

    Их никто не считает точно, просто по той причине что их нельзя представить точно.
    У нас не хватит памяти всех датацентров чтоб точно такое считать.

    Иногда в очень-очень редких случаях математический пакет может упростить формулу
    аналитически (exp(log(x)) и получить более простые цифры без свойства трансцедентности.
    Почитай документацию по MathCad, MatLab, может там такое тоже есть.

    Я также упрекаю тебя в невнимательности. Я тебе в прошлый раз делал акцент на типах
    данных. И ты это благополучно проигнорировал. И снова ты полез в теорию чисел и Ферма
    даже не понимая с каким типом данных работает Вольфрам. Разберись сначала с этим вопросом.
    Иначе будешь всегда выглядеть почемучкой.
    Ответ написан
    6 комментариев
  • Seed для CRC32?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я сразу попробую ответить на главный вопрос.

    написать хэш-таблицу без коллизий


    Написать такую таблицу можно если мы заранее знаем весь набор данных (в случае автора это
    множество ключей (K). Здесь для простоты предполагаем что ключи - это целые числа int32 (DWORD).

    Алгоритм примерно такой:
    1) Берем размер хеш-таблицы в n = size(K). Метод открытой адресации.
    2) Берем любую хеш-функцию (по области определения больше чем n
    SHA1, MD5, xxhash, mur-mur-hash)
    3) Начинаем наполнять таблицу.
    4) Как только детектирована коллизия - удаляем старую таблицу и создаем новую
    с размером например 120% от исходного n.
    5) Повторяем алгортм до тех пор пока не будут расставлены все ключи.

    Profit.

    Если мы не знаем наши данные изначально (у нас их нет и мы не знаем количество и тип данных)
    то мы не можем гарантировать отсустствие коллизий хотя-бы потому что у нас
    нету такой хеш функции которая бы гарантировала отсутствие коллизий на вариативном
    типе данных
    .

    Изучать хеширование на базе целых чисел - вобщем-то не интересно. Более общий случай - это
    строки (String) и я-бы делал эксперименты со строками и с реальными данными (мобильные
    телефоны емейлы налоговые номера и прочее). Целые числа - это .... слишком синтетические
    тесты и их результаты потом никуда натянуть нельзя.

    UPD: Алгоритм в таком виде не работает. По крайней мере от коллизий мы не избавились.
    Не голосуйте здесь пока.
    Ответ написан
  • Как сделать стрельбу под бит трека?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Думаю да. Нужно наверное отказаться от mp3 и сделать трекерную музыку.

    Я вот когда играл в Serious Sam -1 помню там когда enemies наполняли локацию - то и музыка
    как-то усиливалась и угнетала сильно. Но в Сэме наверное трекерная музыка была. Там проще
    было ритм и музыкальные партии задавать просто меняя семплы.
    Ответ написан
    3 комментария
  • Как разложить URL path на части?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Ну во всех языках есть функция чтоб разбить строку на составляющие по символу разделителю. Например

    https://stackoverflow.com/questions/5159086/php-sp...
    Ответ написан
    2 комментария
  • Как хешировать в хеш таблице узлы дерева?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Дружище тебе не надо портить дерево. Оно и так хорошо.
    Просто заведи отдельную хеш-таблицу и трекай две структуры
    одновременно.

    LRU например так и делает. Цепной список + Hashtable.
    Ответ написан
    Комментировать
  • Будет ли разница при воспроизведении 4к на разных дисках?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Да. Идея хорошая включить более тихие и медленные диски на 5600. Для домашнего кинотеатра - циркулярные
    пилы не нужны. Я как-то видел как инженеры по системам хранения включали хранилище Clarion на Hitachi 14 000 оборотов. Ну и блинов там в стойке было штук 20. Ну было ощущение что рядом взлетает истребитель.

    По поводу 5600. Посмотри как они включены. В современных матерях стоят уже SATA 3.0 но чорт его знает. Я видел гибриды где были и новые слоты и старые.

    Сколько нужно для просмотра кина в 4К качестве я не знаю. Это очень хитрый и лукавый вопрос. Дело
    в том что 4К трафик сильно зависит не только от разрешения но и от того как релизер сжал кино или
    сериал. Я никогда не сжимал 4К. Мне хватает FullHD для сериалов. Но я пережимаю через ffmpeg
    заменяя кодек звука и видео просто на тот который подходит под 2 моих стареньких телевизора LG.
    Могу показать скрипты. По сути я заменяю видеоряд AVC на libx264 и звук на mp3. Вот и 60 fps можно
    тоже проредить в 2 раза. Мне вот кино привычнее смотреть так. А аниме сериалы вообще едвали
    до 10 фпс доходят.

    Еще есть у меня мысль что под громким маркетинговым термином 4К могут быть скрыты несколько разрешений
    меньшего размера. Тут - таже история что и с Wifi/3g/4g. Эти термины созданы чтобы продавать нам
    услуги но они не гарантируют полосу и не являются технической спецификацией. По крайней
    мере 4К существует 2 вида.

    Поэтому качайте с торрента любое разрешение и скорость. И потом за 3-4 итерации пережатия
    можно всегда найти набор параметров чтоб воспроизводилось на медленных дисках. И
    я готов спорить что разницу вы особо не заметите.
    Ответ написан
    3 комментария
  • Можно ли реагировать на нагрузку mysql в реальном времени?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Проблему надо искать не в MySQL а в прикладном коде который эту нагрузку создает. Я так понимаю что это либо PHP либо Python либо Node приложение. Смотрите какой там размер пула коннектов. Допустим 20. Сделайте 10 и повторите наблюдение.

    Есть шаблоны ограничения нагрузки такие как Cirquit Breaker. Почитайте в этом направлении.

    Я пробовал включать лог медленных запросов

    Медленных может не быть. Если допустим это крупный магазин - то он может создавать тысячи мелких запросов которые в общей своей массе создают нагрузку но в категорию медленных все равно не заходят.

    хостер VDS включает троттлинг

    Это очень плохо. Зачем такой хостинг нужен. Это искажает картину анализа происходящего.
    Найдите другой хостинг. Или не покупайте виртуалки. Купите сразу MySQL как услугу. Может
    это будет дешевле стоить и обслуживаться проще.

    Можно ли как-то реагировать не аномальное возрастание нагрузки на mysql

    Реагировать должно само приложение. Разговаривайте с разработчиками. Они знают что за
    SQL запросы работают и у них диапазон возможностей гораздо шире. Пусть кешируют. Пусть
    больше логики переносят на приложение.

    Админ или девопс конешно может написать баш-скрипты которые отстреливают процессы,
    но какая с этого польза для бизнеса? Задача делается как раз для предоставления
    услуги
    . Вот надо и в этом направлении работать.
    Ответ написан
    Комментировать
  • Как узнать найти и извлечь PaReq, не будучи программистом?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Татьяна. Техническое задание так не пишут. Напишите что дано. Какие стандарты и протоколы там работают.
    Приведите пример данных. И пример того как оно должно быть на выходе.
    Может и можно извлечь. А может и нет. Черт его знает. Но при такой постановке вопроса вы можете спршивать
    гугл или чят-GPT и пробовать рецепты длиной в 1 строчку.
    Ответ написан
    Комментировать
  • Как оформить код?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В коде повторяется вектор векторов int. Это по смыслу - матрица. Вот можно создать свой тип матрица или после такой подстановки будет яснее и короче.
    Ответ написан
    Комментировать
  • Как предотвращать XSS в Spring?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Зачем делать что-то для галочки? Если ты внедрил функцию то ты должен понимать те кейсы в которых она
    работат. Попробуй сам воспроизведи XSS-атаку на себя и проверь как она работает.

    Иначе будет в исходниках балласт который ты себе объяснить не можешь и newcomer придет и будет спрашивать про исходник а ты и ему не объяснишь.
    Ответ написан
    Комментировать
  • Почему моя нейросеть по распознованию цифр MNIST не работает?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Несколько соображений. Я думаю что для решения MNIST задач никакие огромные числа не нужны.
    НС идеологически способны работать на малом диапазоне плавающей точки. И функции активации
    (если таковые есть) обычно этому способствуют.

    Numpy в данном случае имеет преимущество вовсе не в больших числах а в операциях над векторами и матрицами.

    С твоей ситуацией низкого перформанса никто разбираться не будет. Нет ошибки - и нет ответа.
    Если медленная скорость - ищи гиперпараметр η (греческая буква) - он регулирует скоросить.
    алгортмов обратного распространения ошибки. (В разной литературе он может и по другому называться)

    Учись по курсам. Потому что учить тебя нейросетям здесь бесплатно точно никто не будет. И это
    технически невозможно в формате ответов.
    Ответ написан
  • Как устроить кеширование облака на VPS?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Идея регулируемого тарифа заложена например в AWS S3 хранилище. Там вы для старых файлов можете просто задать атрибут storage class и указать более жлобские модели хранения вплоть до ленточного архива. Но установкой атрибута класса хранения вы будете сами управлять.

    Очень сильно стоит вопрос определения "старости файлов". Я-бы учитывал частоту доступа за период. К пример кто-то может интересоваться старыми проектными файлами и алгоритм балансировки должен это как-то учитывать.

    И внешнаяя ссылка на файл вообще не должна изменяться.
    Ответ написан
    3 комментария
  • Работа с изображениям, как создать своё на C++?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В наше время уже почти никто не пишет такие библиотеки. Все вроде написано. Проблемы с писательством библиотек такие. Если ты кодишь на сях под Windows то ты полюбому захочешь как-то их отображать и тебе в библиотеку придется вводить сущности мира WinGDI например.

    Поиск изображения внутри скриншота - это тяжелая задача. Алгоритмически тяжелая. И здесь обычно привлекают нейросети, преобразования Фурье, хеш-коды изображений и прочие функции которые уходят от растра к другому виду данных которые более пригодны для быстрого поиска.

    По названиям нейросетей я ничего не скажу я их не знаю в именах. Поищи их названия в Python-библиотеках.
    Они на слуху. А потом он них - найдешь оригинальное название на сях.

    Посмотри еще в ImageMagic https://imagemagick.org/script/magick++.php может пригодится
    Ответ написан
    Комментировать
  • Как сделать преобразование фурье для изображения по xy?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Что надо делать.?
    Не понимаю, с чего начать.

    Вообще если у тебя так много непоняток - то начни не с изображений а с 1-мерного графика.
    Курс валют например. Или ход температуры за сезон. Разберешся - дальше пойдешь.
    А если ты сейчас даже какую-то фигню закодишь
    - то как ты проверишь что правильное преобразование сделал?

    Начни с контракта. Что приходит тебе на вход? Вот это вот
    double[] x, double[]y

    С моей точки зрения - тут должна быть картинка. Image. На следующем уровне ты ее разбиваешь
    на цветовые слои. Красный зеленый ит.д. Потом эти слои разбиваешь на фреймы (8х8 пикс как в jpg).
    Потом их нормируешь от цвета пиксела до вещественного значения. И вот уже когда ты получишь
    матрицу вещественных значений - тогда и можно приступать к Фурье. Усек? У тебя хедер
    функции должен иметь такие параметры чтобы тебе было все кристально ясно что за аргументы и как.

    А так конешно у тебя каша в голове.

    Да. И по контракту Фурье преобразования ты получаешь комплесную
    вещественную матрицу на выходе. Тоесть две матрицы. Размер их не обязательно должен быть 8х8.
    Он может быть любым. Но обычно нижние коэффициенты матрицы (левый верхний угол - самые
    ценные для Фурье формулы).

    И дальше - делаешь все в обратном направлении. От Фурье к картинке. Получиться картинка - молодец.
    Значит правильно сделал.
    Ответ написан
    5 комментариев
  • Кушает ли память логирование?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Java медленно потребляет память даже в состоянии покоя. Видимо системные треды что-то аллоцируют. Я как-то создавал пустое main приложение которое стоит на паузе и на графике JVisualVM я наблюдал медленный рост Eden space. Попробуй тоже такой эксперимент.

    Вообще тебя это не должно беспокоить. Это нормальный цикл работы управляемой памяти. Главное что в тот
    момент когда срабатывает System.gc память быстро очищается без переноса объектов в Survival.

    Сам процесс логгирования тоже можно писать оптимально или не оптимально. Покажи исходники и хабр посмотрит что там можно улучшить. Здесь разные логгеры log4j, log4-2 могут использовать разные механики для оптимизации.
    Ответ написан
    1 комментарий
  • Можно ли соединить два дом.телефона чтобы звонить и разговаривать с друг другом?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Да я собирал такую схему несколько раз. Достаточно батарейки и нескольких старых телефонов с дисковым набирателем. В более простом варианте даже телефон не нужен. Достаточно двух трубок. Последовательно в контур соединяется две трубки (микрофон + ухо) и так-же последовательно батарейка.
    Ответ написан
    2 комментария