Задать вопрос
  • Как в ходе распознавание номеров, записывать данные в БД, при этом исключить дубли?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Автор ты прикалываешся? Задача дедубликации сведений в БД - решена еще в XX веке через unique
    index на поле. Или любой программист тебе на коленке сделает хештабличку или дерево для этого на любом
    языке.

    А задача машинного зрения это в миллион раз более сложная по сути задача. И ты умудрился в вопрсе через
    запятую это писать? Это все равно что ты бы спросил как изобрести колесо чтоб атомный реактор
    ехал.
    Ответ написан
    Комментировать
  • Как реализовать базу данных таким образом чтобы для каждого клиента она была изолированной при этом было быстродействие (MYSQl)?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Автор может посмотреть в multi-tenant database. Кажется это реализовано уже для Oracle.
    Для MySQL - похоже нет но есть всякие обходные пути типа как пишут вот на стековервлоу.

    https://stackoverflow.com/questions/5570102/how-to...
    Ответ написан
  • Как автоматически проверять резервные копии БД 1С?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Не существует общих методик проверки БД на валидность. Только пользователь (бухгалтер)
    может сказать рабочая БД или нет.

    Попробуйте написать SQL скрипт который моделирует действия бухгалтера по валидации.
    Например он смотрит какие-то последние операции за период и их балансы.

    Применяйте этот скрипт автоматически. Сделайте штук 10 таких скриптов и метрика будет
    например 80% от всех скриптов дали зеленый свет.
    Ответ написан
    Комментировать
  • Где скачать тестовые базы?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Есть учебные БД для машинного обучения
    https://www.kaggle.com/
    https://datasetsearch.research.google.com/

    Я не уверен что их можно считать БД. Для них обычно нет строгой нормализации.

    Еще в GitHub я находил разные семплы вроде учебных NorthWind e.t.c.
    Ответ написан
    Комментировать
  • Как добиться распознавания текста и цифр в 99,9%?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Делать скриншот с видео - скорее всего неправильно. Скрин будет иметь шумы.
    А видео обычно имеет свойство компенсации шумов если изучать не один кадр а несколько.
    И особенно важно если съемка была в движении.
    Ответ написан
    Комментировать
  • Все возможные переменные окружения для JDK?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Обычно настраивают JAVA_HOME - это корень дистрибутива.
    CLASSPATH - это там где лежит lib/*.jar и
    PATH - это где bin/ и все выполнимые приложения из
    комплекса JDK.

    Первую настраивать не обязательно. Обычно это просто для удобства переключения между
    дистрибутивами. А две другие соотв идут как зависимость от хоума.
    Ответ написан
    Комментировать
  • С какого раздела можно начинать читать Algorithms in Java от Седжвика если уже знаешь джаву?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Седжвик делает упор на алгоритмы. Вот и читай про алгоритмы. Сортировки. Поиск. Алгоритмы на графах.

    Или ты думаешь что документация по Java раскрывает тебе графовые алгоритмы?
    Бери содержание и смотри.
    Ответ написан
    Комментировать
  • Нужно по файловому серверу на Linux в два географически отдаленных филиала, какие есть варианты синхронизировать списки пользователей и файлы?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Файлы должны синхронизироваться в двунаправленном порядке (не зеркало).

    Если 2 сессии одновременно начали в 2 филиалах редактировать один файл
    то теоретически может возникнуть ситуация дедлока. И в случае одноранговой системы
    у нас нет правильного решения по разрешению такого дедлока.
    Ответ написан
    Комментировать
  • Стоит ли поступать на программиста с плохой математикой?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Да. Поступать можно. Современный программист для сайтов e-commerce не претендует на особые
    знания. Умеешь складывать и считать процент - этого достаточно.

    Если будешь искать потом углубления - то подучишь потом. А так последние 10 лет это почти гумантиврная
    специальность и софт-скиллы требуются в основном гуманитарные. Умение разговаривать. Знание английского.
    Скрам-аджайл - это все гуманитарщина.
    Ответ написан
    3 комментария
  • Как корректно вывести функцию в байтовом виде?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Это так не работает. Тут есть квантовый эффект что если ты подглядываешь за кодом
    то он ведет себя так. А если уберешь эту формулу расчета длины то код будет собран
    совсем другой.

    int f(int a, int b) {
        return a + b;
    }
    void _end(void) {};


    Может быть будет инлайнинг функции f. Поэтому расчет длины кода тебе практически
    не несет никакой информации. Тоесть никаких выводов из его длины сделать нельзя.

    И трюки которые работали в ассемблере могут не работать для языков где есть агрессивная
    оптимизация.
    Ответ написан
    Комментировать
  • Что стоит делать в 16 лет, если планирую стать специалистом в системном программировании?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вот допустим изучу я ассемблер и C, как будто это самое легкое из всего.

    Это - вершина айсберга.

    Если ты начнешь изучать например ассемблер для x86, то это целая история изменений. 16/32/64 регистры
    и наборы команд для векторизации. Я-бы сказал что это все очень затягивает и это автоматически
    вовлекает новые области знаний такие как - железо, микро-контроллеры, сети.

    Далее может быть направления - системотехника и безопасность. Далее - оптимизация (параллелизм
    и конкуренция).

    Тоесть на самом деле нельзя сказать что я вот "изучу С" и положу книгу на полку. Это - как и зучить
    современную физику. У тебя всегда будут открытые вопросы. И их число будет только расти.

    Вобщем удачи.
    Ответ написан
    Комментировать
  • Есть ли готовое решения для инкрементного резервное копирования бакетов s3 и если нет, то почему это никому не нужно?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Хм. Да похоже AWS.S3 действительно не поддерживает откат бакета в прошлое.
    Но если рассматривать S3 как протокол поверх обычной файловой истемы
    (Minio+BTRFS/ZFS) то вы можете задачу отката переформулировать в терминах
    конкретной файловой системы
    . Там - это коробоная фича.
    Ответ написан
    1 комментарий
  • Возможно ли точно вычислить степень влияния ИИ в книгах и кино?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я тоже думал над этим вопросом.

    Я думаю что можно оценить влияние ИИ на текст как близость текста к учебному датасету.
    И чем ближе ответ ИИ к учебке - тем с большей вероятностью он создан ИИ.

    И чем дальше - тем он более нестандартный и очеловеченный

    Как видите, для ответа на вопрос вам придется потрудиться. Как минимум собрать всю библиотеку Гуттенберга,
    всю Британскую Энциклопедию, Фейсбук, Stackover e.t.c. :)
    Ответ написан
    Комментировать
  • Обьясните в чём суть инкапсуляции?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Инкапсуляция не имеет никакого отношения к хакерам.

    Это просто свойство объекта иметь оболочку, которая защищает объект от неправильных изменений.
    Неправильные изменения это например корректировка одного поля, которое на самом деле
    функционально связанно со всеми другими полями. Например строка и контрольная сумма к строке.
    Или время и часовой пояс времени. Или иммутабельность объекта.
    Ответ написан
    Комментировать
  • Как исправить потерю пакетов при скачивании торрента через qbittorrent?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Торрент файл очень хорошо защищен от повреждений. Даже лучше чем дистрибутивы просто на сайтах.

    И по протоколу, когда скачивание полностью завершено, все торрент-клиенты еще раз проверяют
    целостность скачанного и если хотя-бы 1 бит не совпадает по контрольной сумме то закачка будет
    продолжаться бесконечно пока сумма не совпадет.

    Поэтому совершенно непонятно чего автор решил что он теряет пакеты?
    Ответ написан
  • Как организовать систему обновлений БД?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Хорошая архитектура БД должна быть толерантной миграции версий. Например
    если состояние пользователя хранится в XML то можно договориться что поле
    "coins" (количество монет имеет дефолтное значение = 0) и не требует
    принудительного обновления всех записей. Фактически это поле сохранится
    в save файл только когда игрок заработает не нулевое число coins.

    <player name="Иванов" coins=12 />
    <player name="mayton" />


    При моем подходе никакая миграция БД не нужна.

    Мне эта модель также напоминает "schema evolution" из области BigData.
    Ответ написан
    Комментировать
  • Сисадмины, занимаетесь ли вы резервным копированием данных на рабочих ПК сотрудников?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В ситуации когда в компании - бардак, все понятно.

    Но имеет смысл проанализировать действия пользователя и понять зачем они хранят те или иные документы.
    Например если это бухгалтерия, то почему они до сих пор не в системе а в рассыпухе Excel.

    Если файл очень важен для нескольких пользователей - то почему он не в SharePoint а циркулирует
    по сети в виде разных версий самого себя.

    Короче проведите анализ использования десктопов и после этого - плановое обучение всех как использовать
    корпоративные ресурсы вместо своего ХДД.
    Ответ написан
  • Как генерировать пароль по кодовой фразе и восстанавливать обратно?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Это вообще задача не техническая а организационная. Сделайте участкового
    админа
    и дайте ему все прививлегии. Зачем играть в эту игру с придумыванием
    запутанных схем? Опыт инфо-безопасности показывает что все эти схемы просто
    не работают. Про это Керхкофс писал.

    Если политика сложности пароля недостаточная - придумайте политику. Обучите
    людей чтоб не было совсем уже явных проколов на участках.
    Ответ написан
    Комментировать
  • Вызов объектом метода своего класса - это статическое связывание или динамическое?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Будет использован invokevirtual
    class MyClass
    {
       public void method()
       {
         System.out.println("OK");
       }
    
    
       public static void main(String[] args) {
         MyClass obj = new MyClass();
         obj.method();
    
       }
    }


    Compiled from "MyClass.java"
    class MyClass {
      MyClass();
        Code:
           0: aload_0
           1: invokespecial #1                  // Method java/lang/Object."<init>":()V
           4: return
    
      public void method();
        Code:
           0: getstatic     #7                  // Field java/lang/System.out:Ljava/io/PrintStream;
           3: ldc           #13                 // String OK
           5: invokevirtual #15                 // Method java/io/PrintStream.println:(Ljava/lang/String;)V
           8: return
    
      public static void main(java.lang.String[]);
        Code:
           0: new           #21                 // class MyClass
           3: dup
           4: invokespecial #23                 // Method "<init>":()V
           7: astore_1
           8: aload_1
           9: invokevirtual #24                 // Method method:()V
          12: return
    }
    Ответ написан
    Комментировать
  • Как обнаружить высокое потребление CPU?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Сложно судить о проблемах только по CPU.

    Например если у тебя система, которая делатет рендеринг картинок или кодирует видео то она
    обычно забирает столько CPU сколько есть в наличии.

    Если у тебя event-like система, которая обслуживает события от бизнеса то ты можешь мерять
    какие-то бизнес-метрики. Например - сколько сообщений в секунду система пропустила и на основании
    этого делать выводы.

    А очередь диска или загрузка ядер CPU в данной задаче не говорят ни о чем обычно. Может они - высокие
    но бизнес чувствует себя нормально. А может быть 1 % CPU занят но база в блокировках и эта проблема не
    видима со стороны системных метрик.
    Ответ написан
    Комментировать