Задать вопрос
  • Почему общий размер папки равен нулю?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Надо этот total count учитывать внутри волкера.

    @Override
                public FileVisitResult visitFile(Path path, BasicFileAttributes attr) {
                    totalFiles.incrementAndGet();
                    totalCount.addAndGet(............); // Add file length
                    return FileVisitResult.CONTINUE;
                }
    Ответ написан
    2 комментария
  • Есть ли альтернативы организации виртуальной памяти в операционных системах и железе ?Другими словами почему нету ос с сборкой мусора подобно Jvm?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Технически, любая ОС убирает память после завершения процесса. На этом основан
    life-cycle PHP странички например. Обработка PHP-responce - это запуск одного
    (обычно) Linux процесса.
    Ответ написан
    Комментировать
  • Как определяют скорость транзакций в блокчейнах?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Для биткоина можно посчитать приближенно среднюю скорость через метки timestamp
    внутри блоков.

    https://medium.com/coinmonks/structure-of-a-bitcoi...

    Управлять скоростью скорее всего нельзя. Потому что нет центрального механизма управления.
    Но в протокол можно заложить например усиление сложности расчета хеша со временем
    и всякие комиссии. И эта формула скорее всего никогда менятся не будет.
    Ответ написан
  • Какой механизм лучше использовать для хранения и получения hashsum записией?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можно использовать фильтр Блума. Тогда для твоего числа ключей (4 320 000 000) надо
    будет держать структуру размером 4.8 Гб https://hur.st/bloomfilter/?n=4320000000&p=0.01&m=&k=

    Но фильтр отбивает не 100% ответов а просто некую большую часть (99% в данной формуле). И поэтому надо чтобы
    в базе всегда стоял unique constraint. Да и вообще констрейнт - это часть культуры проектирования
    баз. Поэтому это даже не должно обсуждаться. База без гарантий уникальности - это сильно
    подпорченная информация. Информация низкого качества.

    Фильтры Блума используются в Cassandra, Hadoop, Databricks, Redis. Обычно не как основные а как
    вспомогательные структуры. Поэтому такие решения - вполне себе production-ready.
    Ответ написан
    Комментировать
  • Как понять что APK битый без конрольных хэш сумм?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Кажется APK - это zip архив. Поэтому контрольные суммы типа CRC-32 должны отслеживаться при
    распаковке.
    Ответ написан
    Комментировать
  • Как выводить звук на несколько наушников одновременно?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Мда. Такую схему проще было реализовать в 90х- 2000х на аналоговой технике.
    Если 1 блютус заменить на проводной наушник и купить head-phone splitter
    то можно слушать вдвоем. Сильно много ушей вешать на 1 выход нежелательно.
    Это все таки слабомощная штука.
    Ответ написан
    Комментировать
  • Почему не подписывается приложение?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Тебе чтобы глянуть сертификат - безразлично какая версия JDK. Потому что стандарты
    криптографии - это вообще отдельная тема.

    Поставь себе временно JDK-21 и спокойно посмотри все подписи.

    Еще зайди внутрь apk файла и поищи саму подпись. Можно найти глазами.
    Ответ написан
  • Как работать с ReplacingMergeTree в Clickhouse?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я не специалист в кликхаусе, но если ты указываешь
    ENGINE = ReplacingMergeTree
    Order by (....)

    то это (скорее всего) включает некоторые механизмы дедубликации. Почитай вот тут пишут
    https://clickhouse.com/docs/en/engines/table-engin...

    Выше ты писал
    должны убраться дублирующиеся записи, но их нет.

    это нужно доказать отдельным SQL запросом. Я думаю что ты скорее всего ошибся.
    Проверь.
    Ответ написан
    Комментировать
  • Циклическая перезагрузка пк при включении блока питания, что делать?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если у тебя нет опыта ремонта электрики и электротехники - то лучше ничего не делай. Неси
    в ремонт. БП - это опасное напряжение. И лучше туда не лезть без соотв. знаний.
    Ответ написан
    2 комментария
  • Как хукнуть функцию из другого приложения?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если ты - программист на С++ то можешь сделать свою собственную библиотеку с таким-же интерфейсом
    и со своей реализацией. Чтоб работала как прокси. Вызывала нужные функции из оригинальной библиотеки
    а для функции a2 - возвращала true.
    Ответ написан
  • Почему clang выдает такой ассемблерный код?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если - бы я был бизнесом и автор пришел бы ко мне с таким вопросом - я б спросил : как сильно
    влияет этот код на наш бизнес
    . И как много времени и сил мы хотим потратить на investigation
    этой проблемы.

    Я языках программирования и компилляторах всегда есть много забавных побочных эффектов. Но
    не все из них являются performance issue. Чтоб быть в фокусе. Обычно performance issues изучают
    в
    - циклах
    - векторизированных операциях
    - параллелизм и конкуренция в многопоточке
    - I/O

    Отдельно можно рассмотреть его величество алгоритм. Это тоже важно.

    Что мы имеем в данном примере? Ровно ничего. Совершенно софистический код, который не делает
    полезной работы и мы не можем никак оценить пользу или вред от оптимизаций. К слову если-бы
    инициализация Point стояла бы в теле цикла, то мне не составило-бы труда развалить ее на атомы
    (две переменных int) выполнить над ними все калькуляции и после выхода из цикла собрать снова
    эту-же структуру.

    Оценю в 1 story point вместе с тестами. И это будет дешевле по усилиям даже чем обсуждать этот
    вопрос в хабре. Грубо говоря вопрос будет закрыт даже не появившись.

    Автору еще посоветую посмотреть на GCC. И посмотрет на промежуточный LLVM код, который создает
    clang еще до ассемблера. Возможно это поведение там зафиксировано. Как особенность clang.
    Ответ написан
  • Как защитить базу данных компании от кражи сотрудниками?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Для хранения секретов есть специальные Wallet-приложения. Типа Kee-Pass.
    Они шифруют информацию и после log-out или ребута системы потенциальный
    злоумышленник не может ничего взять с wallet без мастер пароля.

    Вопрос удобства мы оставим за кадром. Мне кажется что если во главе угла стоит безопасность
    то все плюшки Excel не имеют значения. Потому что здесь самое важное - сберечь логины пароли
    от кражи. Надеюсь все это понимают и не будут обсуждать "почему Excel". Security - first!

    Еще я-бы посоветовал хранить этот файл на отдельном ноутбуке который не включается в сеть
    вообще. И убирать его в сейф когда не нужно.
    Ответ написан
    Комментировать
  • Возможно ли подключить PostgreSQL к Wordpress?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Uber в свое время переходил PG на MySQL и у них было на то свое обоснование.
    Может дешевизна транзакции. Cents per transaction. Может сжатие. Чорт его знает.

    Но в любой базе до 7 млн я не вижу никакой проблемы. Проблемы обычно
    начинаются на очень сложных JOINS где участвуют 5-7 таблиц и в этот
    момент очень важно насколько умный в БД оптимизатор и как он строит
    план выполнения запроса. Поэтому на месте автора я-бы просто протестировал
    тяжелые запросы PG. Не будет ли где-то просадки.

    Но вряд-ли Wordpress будет использовать тяжелые запросы. Надеюсь что там будет
    просто CRUD.
    Ответ написан
    Комментировать
  • Какой правильный класс коллекции для хранения сортируемого списка?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Задача : сделать так, чтоб при принудительном обновлении в первую очередь обновлялись объекты, которые не обновлялись дольше всего.

    Мне не очень понятно, что мешает их обновить сразу?

    Стоимость операций с HashMap, TreeMap достаточно дешевая чтобы этим вопросом вообще не
    беспокоиться.

    Если бы у тебя было очень много объектов и они не влазали бы в heap, то тогда я-бы предложил
    LRU Cache (Last Recently Used). Но у тебя 5000 объектов. Это мало для БД и кеша горячих объектов.
    Ответ написан
    Комментировать
  • Как использовать Tracemalloc для оптимизации использования памяти?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вообще не факт что дело в Питоне. Вместе с ботом запускается SQLite. Как часть процесса.
    База сложным образом кешируется и обладает свойством забирать столько сколько надо
    с учетом настроек. Я-бы посмотрел настройки SQLite.
    Ответ написан
  • Как удалить лишнее с БД mysql имея более 7000 id, которые удалять не надо?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Тебе нужно эти id загрузить во временную табличку и сделать этот запрос

    delete from tab1 where WHERE guildid not in (select id from temp_table)
    Ответ написан
  • Как можно ускорить Скачивание с помощью telethon?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если под капотом "телетхона" работает http-протокол то можно качать в несколько сеансов.
    Только для каждого задать свой уникальный range. На выходе будет несколько кусочков
    файла которые можно склеить в один файл.

    Тут пример https://developer.mozilla.org/en-US/docs/Web/HTTP/...
    Ответ написан
    Комментировать
  • Как составить схему аналогового калькулятора на ОУ?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Суммировать - просто.

    А умножение и деление базируется на работе с логарифмической линейкой. Чтобы умножить
    два напряжения a и b такая формула.

    def mul(a:Double,b:Double) = math.exp( math.log(a) + math.log(b))


    Деление - аналогично. Операционные усилители при этом делают нелинейные преобразования.
    Логарифмируют и вычисляют экспоненту от напряжения.
    Ответ написан
    Комментировать
  • Можно ли находить животных в тепловизор?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Странно что все тепловизоры под Андроид имели какое-то жлобское разрешение. Я специально
    искал получше и не находил. Дальше просто шла военная техника. Подумалось что сознательно
    запрещают ставить на мобилы все что более сильное.

    Очень похоже на средства самозащиты. Какой-то жлобский балолнчик который только собак отпугивает
    или фонарик-шокер - можно. А чуть только дальше - низя.
    Ответ написан
  • Как по GPS-отметкам построить трек транспортного средства по дорогам города?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В данной задаче не хватает информации. А именно - как представлена дорога.

    Без этой информции мы не сможем привязать координаты и азимут машины.

    Если просто есть плоскость, по которой ездит материальная точка, то ее координаты
    в промежутках можно интерполировать. Но при этом разворот на дорожной развязке
    тоже не будет точно попадать в дорогу хотя и будет выглядеть красиво.

    Мне вспоминается как я играл в StarCraft (первая часть) или Brodwar уже не помню.
    Там была техника на колесах которая ездила достаточно плавно и с поворотами
    но останавливалась всегда в координатах какой-то крупной сетки. Я предположил
    что так работает игровой алгоритм интерполяции траектории. Вот нечто
    подобное надо повторить для координат грузовика с GPS.
    Ответ написан