Задать вопрос
  • Нужна очень простая БД для учета лабораторного барахла. Что существует готового?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Эту задачу можно начать просто с описи всего инвентаря в Excel файл.
    Возможно на этом этапе будет достаточно учета.

    В современном Excel можно и искать и фильтровать по колонкам достаточно удобно.
    Если в БД появится потребность вести нормализацию и справочнники - то тогда
    этот Excel уже пригодится как raw материал для загрузки в реляционные БД
    или какие-то коробочные системы учета.

    Но начать все равно нужно с ручной работы по фиксации всего в один файл.
    Я-бы даже мог начать с текстового файла с разделителями. Он потом и в Эксцель зайдет.
    Ответ написан
    Комментировать
  • Возможно ли сделать систему логирования из ClickHouse, Logstash и Grafana?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Хочу напомнить что такие системы как ClickHouse ориентированы не на одиночные события
    а на стриминг. Тоесть вы должны не просто логгировать а желательно просто потоком лить
    много событий. Батч-режим вставки в кликхаус - это и есть ее оптимальный режим.

    Вставка по 1 строке например раз в несколько секунд с фиксацией - будет не благоприятным
    режимом работы для кликхауса. И наверное с плохим КПД. Подумайте о том что может
    стоит все таки писать логи классическим способом и по истечении времени например
    сбрасывать пачку к аналитические хранилища.
    Ответ написан
  • Как расшифровать .class файл?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Приложение JD-Gui поможет тебе анализировать (декодировать) байткод class files.

    https://java-decompiler.github.io/

    Если речь идет о криптографии (дешифрование) то это отдельная тема. Но мне кажется
    что тут пока не доказано применение шифрования. И это во много раз сложнее
    чем декодирование.
    Ответ написан
  • Как использовать все потоки процессора при вычислении числа Фибоначчи в C#?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я вижу следующие пути оптимизации.
    1) Мемоизировать (запомнить в массив) хотя-б первую сотню чисел. Тогда например для 120 чиссла
    все считать не надо и можно делать перемотку вперед. Или мемоизировать с шагом. Тоже экономия.

    2) Можно попробовать считать через золотое сечение (приближенно) если этого достаточно для
    ответа.

    3) Можно отказаться от java в пользу С++/GMP библиотек. Возможно расчет суммы будет быстрее.

    Но вообще фибоначчи действительно не параллелится. В этом главная проблема.
    Ответ написан
    Комментировать
  • Как вывести топ n самых не похожих результата?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я не знаю что такое хромадб. Но если тебе надо найти 5 самых не похожих
    то можно
    - кластеризовать результат поиска на 5 кластеров
    - взять для каждого кластера близкий вектор

    Они и будут максимально непохожие поскольку принадлежат к разным кластерам.

    Возможно есть лучшее решение. Но это вполне мне кажется приемлемое.
    Ответ написан
    Комментировать
  • Как в ходе распознавание номеров, записывать данные в БД, при этом исключить дубли?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Автор ты прикалываешся? Задача дедубликации сведений в БД - решена еще в XX веке через unique
    index на поле. Или любой программист тебе на коленке сделает хештабличку или дерево для этого на любом
    языке.

    А задача машинного зрения это в миллион раз более сложная по сути задача. И ты умудрился в вопрсе через
    запятую это писать? Это все равно что ты бы спросил как изобрести колесо чтоб атомный реактор
    ехал.
    Ответ написан
    Комментировать
  • Как реализовать базу данных таким образом чтобы для каждого клиента она была изолированной при этом было быстродействие (MYSQl)?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Автор может посмотреть в multi-tenant database. Кажется это реализовано уже для Oracle.
    Для MySQL - похоже нет но есть всякие обходные пути типа как пишут вот на стековервлоу.

    https://stackoverflow.com/questions/5570102/how-to...
    Ответ написан
  • Как автоматически проверять резервные копии БД 1С?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Не существует общих методик проверки БД на валидность. Только пользователь (бухгалтер)
    может сказать рабочая БД или нет.

    Попробуйте написать SQL скрипт который моделирует действия бухгалтера по валидации.
    Например он смотрит какие-то последние операции за период и их балансы.

    Применяйте этот скрипт автоматически. Сделайте штук 10 таких скриптов и метрика будет
    например 80% от всех скриптов дали зеленый свет.
    Ответ написан
    Комментировать
  • Где скачать тестовые базы?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Есть учебные БД для машинного обучения
    https://www.kaggle.com/
    https://datasetsearch.research.google.com/

    Я не уверен что их можно считать БД. Для них обычно нет строгой нормализации.

    Еще в GitHub я находил разные семплы вроде учебных NorthWind e.t.c.
    Ответ написан
    Комментировать
  • Как добиться распознавания текста и цифр в 99,9%?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Делать скриншот с видео - скорее всего неправильно. Скрин будет иметь шумы.
    А видео обычно имеет свойство компенсации шумов если изучать не один кадр а несколько.
    И особенно важно если съемка была в движении.
    Ответ написан
    Комментировать
  • Все возможные переменные окружения для JDK?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Обычно настраивают JAVA_HOME - это корень дистрибутива.
    CLASSPATH - это там где лежит lib/*.jar и
    PATH - это где bin/ и все выполнимые приложения из
    комплекса JDK.

    Первую настраивать не обязательно. Обычно это просто для удобства переключения между
    дистрибутивами. А две другие соотв идут как зависимость от хоума.
    Ответ написан
    Комментировать
  • С какого раздела можно начинать читать Algorithms in Java от Седжвика если уже знаешь джаву?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Седжвик делает упор на алгоритмы. Вот и читай про алгоритмы. Сортировки. Поиск. Алгоритмы на графах.

    Или ты думаешь что документация по Java раскрывает тебе графовые алгоритмы?
    Бери содержание и смотри.
    Ответ написан
    Комментировать
  • Нужно по файловому серверу на Linux в два географически отдаленных филиала, какие есть варианты синхронизировать списки пользователей и файлы?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Файлы должны синхронизироваться в двунаправленном порядке (не зеркало).

    Если 2 сессии одновременно начали в 2 филиалах редактировать один файл
    то теоретически может возникнуть ситуация дедлока. И в случае одноранговой системы
    у нас нет правильного решения по разрешению такого дедлока.
    Ответ написан
    Комментировать
  • Стоит ли поступать на программиста с плохой математикой?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Да. Поступать можно. Современный программист для сайтов e-commerce не претендует на особые
    знания. Умеешь складывать и считать процент - этого достаточно.

    Если будешь искать потом углубления - то подучишь потом. А так последние 10 лет это почти гумантиврная
    специальность и софт-скиллы требуются в основном гуманитарные. Умение разговаривать. Знание английского.
    Скрам-аджайл - это все гуманитарщина.
    Ответ написан
    3 комментария
  • Как корректно вывести функцию в байтовом виде?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Это так не работает. Тут есть квантовый эффект что если ты подглядываешь за кодом
    то он ведет себя так. А если уберешь эту формулу расчета длины то код будет собран
    совсем другой.

    int f(int a, int b) {
        return a + b;
    }
    void _end(void) {};


    Может быть будет инлайнинг функции f. Поэтому расчет длины кода тебе практически
    не несет никакой информации. Тоесть никаких выводов из его длины сделать нельзя.

    И трюки которые работали в ассемблере могут не работать для языков где есть агрессивная
    оптимизация.
    Ответ написан
    Комментировать
  • Что стоит делать в 16 лет, если планирую стать специалистом в системном программировании?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вот допустим изучу я ассемблер и C, как будто это самое легкое из всего.

    Это - вершина айсберга.

    Если ты начнешь изучать например ассемблер для x86, то это целая история изменений. 16/32/64 регистры
    и наборы команд для векторизации. Я-бы сказал что это все очень затягивает и это автоматически
    вовлекает новые области знаний такие как - железо, микро-контроллеры, сети.

    Далее может быть направления - системотехника и безопасность. Далее - оптимизация (параллелизм
    и конкуренция).

    Тоесть на самом деле нельзя сказать что я вот "изучу С" и положу книгу на полку. Это - как и зучить
    современную физику. У тебя всегда будут открытые вопросы. И их число будет только расти.

    Вобщем удачи.
    Ответ написан
    Комментировать
  • Есть ли готовое решения для инкрементного резервное копирования бакетов s3 и если нет, то почему это никому не нужно?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Хм. Да похоже AWS.S3 действительно не поддерживает откат бакета в прошлое.
    Но если рассматривать S3 как протокол поверх обычной файловой истемы
    (Minio+BTRFS/ZFS) то вы можете задачу отката переформулировать в терминах
    конкретной файловой системы
    . Там - это коробоная фича.
    Ответ написан
    1 комментарий
  • Возможно ли точно вычислить степень влияния ИИ в книгах и кино?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я тоже думал над этим вопросом.

    Я думаю что можно оценить влияние ИИ на текст как близость текста к учебному датасету.
    И чем ближе ответ ИИ к учебке - тем с большей вероятностью он создан ИИ.

    И чем дальше - тем он более нестандартный и очеловеченный

    Как видите, для ответа на вопрос вам придется потрудиться. Как минимум собрать всю библиотеку Гуттенберга,
    всю Британскую Энциклопедию, Фейсбук, Stackover e.t.c. :)
    Ответ написан
  • Обьясните в чём суть инкапсуляции?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Инкапсуляция не имеет никакого отношения к хакерам.

    Это просто свойство объекта иметь оболочку, которая защищает объект от неправильных изменений.
    Неправильные изменения это например корректировка одного поля, которое на самом деле
    функционально связанно со всеми другими полями. Например строка и контрольная сумма к строке.
    Или время и часовой пояс времени. Или иммутабельность объекта.
    Ответ написан
    Комментировать
  • Как исправить потерю пакетов при скачивании торрента через qbittorrent?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Торрент файл очень хорошо защищен от повреждений. Даже лучше чем дистрибутивы просто на сайтах.

    И по протоколу, когда скачивание полностью завершено, все торрент-клиенты еще раз проверяют
    целостность скачанного и если хотя-бы 1 бит не совпадает по контрольной сумме то закачка будет
    продолжаться бесконечно пока сумма не совпадет.

    Поэтому совершенно непонятно чего автор решил что он теряет пакеты?
    Ответ написан