Задать вопрос
  • Получить наглядный граф путей выполнения в golang?

    mayton2019
    @mayton2019
    По ссылке вообще не граф. А синтаксическое дерево. AST. Вы все таки уточните что вам на самом деле надо. Нарисуйте эскиз. А то со стороны выглядит будто человек пришел и капризничает. Чего-то ему хочется эдакого.
  • Можно при создании таблицы указать имя столбца в двойных кавычках?

    mayton2019
    @mayton2019
    LevSvl08, дружище. Очень некрасиво включать менторский тон когда вы задаете вопрос. Вам вобщем то правильно задают вопрос. Общий устав форума предполагает что вы выполнили какие-то действия и получили лог ошибок.

    И этот комментарий как раз про это.
  • Как применить машинное обучение для медицинских данных (пример данных под катом)?

    mayton2019
    @mayton2019
    Dimonchik, там не только в наблюдениях проблема. А даже в том как врачи в разных странах фиксируют сведенья. Даже статистика по COVID зависела от того какой бланк заполняет специалист по вскрытию умерших. Тоесть просто двигаясь от страны к стране можно получать совершенно разные диагнозы и делать разные экспертные системы. Да что там говорить. Нобелевские лауреаты создали метод лоботомии. И еще спустя много лет этот метод считался спорным и одновременно эффективным. И еще каких-то несколько десятков лет назад советские терапевты прописывали детям "банки". Хотя европейский мир не призавал этот метод. А вакцинация. Это же вообще пропасть современного мракобесия. Причем не со стороны медицины. А скорее со стороны государств.
  • Как работать с базой на 2 миллиарда записей?

    mayton2019
    @mayton2019
    Muskat12, смотри. Дизайн системы (а не только таблицы должен исходит от юзкейса). Ты писал

    SELECTом искать в ней что-то очень долго, а с учетом того, что этих селектов от 100 за одну операцию, то это вообще вечность.


    Вот нужно перечислить все типы реквестов которые будут бегать по этой супер-пупер таблице и уже под эти кейсы мы сможем придумать дизайн системы которая будет более отзывчивая.

    Невозможно придумать таблицу которая была бы всем запроса "мила". Затюнишь под OLTP - пострадает аналитика. И наоборот.
  • Как применить машинное обучение для медицинских данных (пример данных под катом)?

    mayton2019
    @mayton2019
    Dimonchik, я думаю что такая консервативная отрасль как медицина должна всеми силами избегать любого автоматического принятия решения в части больного. Вот просто ударить по рукам и сказать - нельзя. Нельзя врачу срезать поворот. С авиацией уже доигрались. Боинги падали просто потому что автоматика слишком умной стала.

    Там где врач принимает решение - он может советоваться с экспертными системами. Но он не должен в силу механической ошибки вписать больному не то лекарство например.
  • Как работать с базой на 2 миллиарда записей?

    mayton2019
    @mayton2019
    Pan Propan, я-бы задал этот вопрос отдельно для SQLite.
  • Как исправить ошибку в 7 строке и 14?

    mayton2019
    @mayton2019
    Есть предположение что он файл
    'db.db'
    просто не находит.
  • Почему современные языки отказываются от ООП?

    mayton2019
    @mayton2019
    Griboks, я думаю что вокруг JS сформировалась своя суб-культура разработки и использования зависимостей. И к сожалению она такова. Если кто-то хочет посчитать остаток от деления двух чисел то вместо того чтобы просто посчитать его на JS/NodeJS он (!) внимание идет в поиск. Находит библиотеку и подключает ее к проекту чтобы взять ОДНУ функцию mod().

    Вот какая дисциплина и парадигма в JS? Она звучит так - "быстрей-быстрей в продакшен". Будет там ООП или не будет неважно. Поддержка кода идеть по принципу вбивания гвоздей и приматывания скотча. Я не знаю существует ли процесс codereview для этого сегмента? У меня ощущение что его нет. А это все в совокупности и есть дисциплина.

    Может я не прав? Юайщики зайдите и опровергните меня plz.
  • Как построить структуру данных?

    mayton2019
    @mayton2019
    EAV, RDF - это такие обобщённые модели что их можно натягивать на что угодно. Да только недостатков они за собой тащут еще больше чем преимуществ. Вообще любая кастомная модель будет лучше EAV хотя-бы в плане простоты сопровождения и анализа ошибок и performance issues.

    EAV любят теоретики и преподаватели которые читают лекции по SQL. В реальности, если вы пообщаетесь с инженерами DBA то услышите от них злобное шипение в адрес всех этих теоретических экспериментов. Поэтому лучше до последнего сохранять приверженность простой модели где таблица - это именно таблица с колонками которые несут смысл а не являются просто уровнями абстракций.

    Кроме того активная поддержка JSON, XML и документов в БД сильно "размыла" начальные условия. Тоесть мы уже не пытаемся построить документы поверх атомов а мы уже просто можем ВСТАВИТЬ документ в ячейку и это реально работает. По крайней мере Oracle/MS это поддержали. Хотя это денормализация. Но всем пофиг.
  • Почему для счётчиков не используют беззнаковые (unsigned) числа?

    mayton2019
    @mayton2019
    Василий Банников, я думаю что это замечательный пример адаптиции jvm под новые сферы.
  • Как построить структуру данных?

    mayton2019
    @mayton2019
    если я захочу заменить точечно на определённых товарах

    Невозможно предугадать все твои хотелки в этом вопросе и сделать дизайн схемы так чтобы он всегда и всем был хорош. Ты должен перечислить все бизнес-кейсы которые возможны и дальше по ним проектировать.

    А что будет если ты захочешь узнать кто производил товар до 2019 года? Нужна темпоральность? Добавлять дату-время к каждой строке каждой таблицы?
  • Как установить либу на python?

    mayton2019
    @mayton2019
    Пробовал поставить WSL на Windows 10 ?
  • Почему для счётчиков не используют беззнаковые (unsigned) числа?

    mayton2019
    @mayton2019
    jcmvbkbc, я-ж говорю. Кофеварки. Никто не думал что этот проект уйдет из мира прошивок в мир большого ентерпрайза. Кстати если вы изучали калькулятор МК-60 - то найдете общее с JVM.
  • Как работать с базой на 2 миллиарда записей?

    mayton2019
    @mayton2019
    Vitsliputsli, давайте прикинем размер сегмента данных

    id username balance - кортеж неизвестной длины. Но пускай для простоты id будет int, username будет в среднем 30 символов (однобайтных) и balance будет тоже int числом с fixed point арифметикой.
    Тогда размер кортежа = sizeof(int) + 30 + sizeof(int) = 38 байт.

    2.3 миллиарда * 38 = 81 Гигабайт

    Это только сегмент данных без учота индексов. Не кисло так.

    Вот так. Если я ошибаюсь - пускай автор откомментирует.
  • Как работать с базой на 2 миллиарда записей?

    mayton2019
    @mayton2019
    ThunderCat, вот интересно пишут на сайте SQLite

    An SQLite database is normally stored in a single ordinary disk file. However, in certain circumstances, the database might be stored in memory.


    Это очень хитрое и лукавое пояснение по системе хранения. Не прикопаешся. Вроде и дисковая БД но вроде и может лежать в мемори. Есть у меня подозрение что все проблемы перформанса SQLite надо просто искать в функциях самой операционной системы. Если она использует memory mapped files то получается что эта система самоустраняется от решения вопросов дискового кеша и оптимизации. Дескыть операционка сама позаботится. Мне кажется что слабое место в SQlite лежит где-то здесь. Почему другие dbms не пошли по такому позорному и легкому пути? Почему у них хардкорная работа с файлом и отдельно с памяью?
  • Как работать с базой на 2 миллиарда записей?

    mayton2019
    @mayton2019
    Вовсе не факт что переход на PG улучшит ситуацию. Я-бы не стал ничего делать до тех пор пока не станет ясно что мы хотим улучшать и как.

    Есть идея что index-organized tables помогут. Это гибрид таблицы и инедкса (2в одном). И если автор ищет только по id то тогда можно на этом сыграть уменишив количество IOPS. Такой род таблиц поддерживается в Oracle и MSSQL.

    Есть идея что если у автора нет требований по ACID то можно брать NoSQL системы. Но я-бы сначала все таки исчерпал возможности классических систем.

    По поводу 100 селектов за операцию. Есть идея - делать пакетные выборки. Тоеть заранее подготовить список ID-шников и искать по SELECT .... id in (?,?,?.....). Это сэкономит на количестве сетевых roundtrips.
  • HttpURLConnection в цикле слишком долго работает, как ускорить?

    mayton2019
    @mayton2019 Куратор тега Java
    Это ApacheCommon или встроенный в jdk?

    Проверь что этот connection использует один сетевой сокет а не создаёт новый.

    Попробуй поиграть с параметром setUseCaches()
  • Торрент тихий убийца ссд?

    mayton2019
    @mayton2019
    Вот информация с моего M2. Тут ничего интересного пока. Покупал в 2018 году. Использую каждый день.
    Под /root, /home, /tmp

    $ sudo smartctl -a /dev/nvme0n1 
    smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.15.0-46-generic] (local build)
    Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org
    
    === START OF INFORMATION SECTION ===
    Model Number:                       Samsung SSD 970 EVO Plus 250GB
    ........
    Total NVM Capacity:                 250,059,350,016 [250 GB]
    Unallocated NVM Capacity:           0
    Controller ID:                      4
    Number of Namespaces:               1
    ....
    SMART/Health Information (NVMe Log 0x02)
    Critical Warning:                   0x00
    Temperature:                        49 Celsius
    Available Spare:                    100%
    Available Spare Threshold:          10%
    Percentage Used:                    1%
    Data Units Read:                    15,353,046 [7.86 TB]
    Data Units Written:                 14,398,454 [7.37 TB]
    Host Read Commands:                 211,341,177
    Host Write Commands:                152,524,530
    Controller Busy Time:               1,102
    Power Cycles:                       1,739
    Power On Hours:                     1,322
    Unsafe Shutdowns:                   342
    Media and Data Integrity Errors:    0
    Error Information Log Entries:      519
    ........
  • Перенос хард диска из одного железа на другой Linux?

    mayton2019
    @mayton2019
    Обычно когда втыкают новые харды или вытыкают старые в Linux сдвигается нумерация дисков. /dev/sda...sdb...
    Или для SSD там вообще другие имена /dev/nvm.

    Проверь.
  • Возможно ли учить два языка программирования одновременно?

    mayton2019
    @mayton2019
    Лентюй, да и сожалею об этом. Мне пришлось зачистить его очень сильно.

    А у вас что в резюме?