Задать вопрос
mayton2019

mayton2019

Bigdata Engineer
Ответы

  • Как преобразовать массив чисел который возвращается функцией model.predict в нормальный вид?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Этого никто не знает. Нужно знать во первых фреймворк keras. Во вторых знать как проходило обучение.
    Какая топология сети была выбрана. Без этой информации эти числа - просто остаются массивом чисел.

    И ты должен еще нам всем рассказать как у тебя представлены рукописные буквы. Эту информацию
    ты точно должен знать.
    Ответ написан
    Комментировать
    Комментировать

  • На replit mongodb не записывает данные, что делать?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Никто не захочет разбираться с твоими ботами.
    Если ты пишешь что проблема в Монго - то вот бери 100% рабочий пример

    https://www.mongodb.com/languages/python

    Там 4 строчки которые демонстрируют создание коннекта получение БД и вставку документа.

    Деплой 4 строчки на replit и доказывай что они не работают. Все остальное что ты привел - это рандомный
    шум который мешает пониманию главной причины. Root cause.
    Ответ написан
    Комментировать
    Комментировать

  • Как правильно компилировать Pascal код?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Вот тут скачай https://www.freepascal.org/
    Ответ написан
    Комментировать
    Комментировать

  • Можно ли вести полноценный чат с ChatGPT через API?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Да. Через API такое можно сделать. Но в GPT-3 кажется было ограничение на контекст в 4000 слов. Поэтому
    бесконечный диалог все равно не получится.
    Ответ написан
    14 комментариев
    14 комментариев

  • Как работать с большими числами в C++?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В науке и технике такие форматы как double / long double / extended применяются уже давно и их
    возможности полностью закрывают все мыслимые вопросы.

    Например мы можем посчитать соотношение самой большой длины (диаметр вселенной) на
    самую мелкую длину (переменная Планка) и это будет вполне себе число которое ляжет в эти
    форматы.

    Преподаватель вас заставил считать факториал 250? Это наверное троллинг. Зачем.
    Для приближенного подсчета факториала есть например формула Стирлинга. Ее достаточно
    чтоб получить порядок числа и первые значимые разряды.

    А bigint и арифметикой можно и никогда не закончить вычисления. Это - как в криптографии.
    Длину ключа увеличили всего в 2 раза. А всех дата-центров планеты Земля уже не хватает
    чтобы в цикле прокрутить просто все значения этого длинного целого.
    Ответ написан
    Комментировать
    Комментировать

  • Какой MacBook выбрать для Data Science/Machine Learning/AI?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Область машинного обучения ML/AI это пока что новая область и никто из инженеров точно не может
    знать какие ресурсы железа понадобяться. И вообще эта область не имеет прямого отношения к конфигурации
    вашего десктопа. Сервисы AWS/Google предлагают арендуемые мощности которые вы можете использовать
    для обучения периодически. В импульсном режиме. Пообучал пол-дня. А потом неделю изучаешь модельку.
    Гоняешь тесты качества и т.д.

    Вобщем я не даю никаких советов касаемо конфигураций Мак-буков потому что это все про графику и про
    дизайн и внешнюю эстетику и не имеет прямого отношения именно к ЗАДАЧАМ машинного обучения. Заранее скажу что
    для объемов Kaggle вам должно хватить обычного ноута. И вообще программы обучения планируются
    так чтобы самый чахлый студент с жлобской конфигурацией мог-бы лабораторную работу сделать.
    Ответ написан
    Комментировать
    Комментировать

  • Почему скрипт не понимает, что данные в MySql изменились?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Первым делом надо доказать отсутсвие глупых ошибок. Типа вместо продуктовой БД пошел в тестовую.

    Сделай этот-же запрос из mysql консоли

    mysql> SELECT flag FROM designbase WHERE id = 501285409


    И попробуй для 2 исходника включить автокоммит как тут пишут https://mariadb.com/kb/en/mysql_autocommit/
    Ответ написан
    2 комментария
    2 комментария

  • Как сократить строку?

    mayton2019
    @mayton2019
    Bigdata Engineer
    По количеству информации на квадратный метр - эта строка вполне себе плотная и насыщенная действиями.

    Чтоб делать какой-то интересный рефакторинг - надо делать не одно-строчники а функции.

    Тоесть 
    def composePath(....) -> string:
  return ....

    Вот. Функции можно покрывать тестами и таким образом гарантировать стабильность от изменений.
    Ответ написан
    Комментировать
    Комментировать

  • Как с Android устройства отправить HTTP запрос на компьютер по USB (без сети)?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В подобного рода задачах интеграции обычно нету готового коробочного способа. Типа установил приложение и все полетело. Скорее всего есть сценарий который надо выполнить шаг за шагом (проверяя успех на каждом).

    Вобщем предлагаю следующее
    1) Эмулировать Ethernet сеть через USB.
    2) Поднять на десктопе http-сервер.
    3) Поднять на адродите http-клиент
    4) Отправить http-запрос.

    Есть возражения?
    Ответ написан
    Комментировать
    Комментировать

  • Как сделать обработку столкновений между шарами?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Да ты прикалываешся. Почему у тебя в параметрах цикла типы разные. Чтоб жилось труднее?

    float count = 1, dimensions = 2;
count = atof(argv[3]);
...
for (int i = 0; i < count; i++) {
    Ответ написан
    Комментировать
    Комментировать

  • Как расширить ext4 раздел из Windows 10?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можно взять любой загрузочный диск-флешку с Linux и например использовать этот сценарий

    https://unix.stackexchange.com/questions/67095/how...

    Но беря во внимание что есть Windows - ябы сначала создал следующую карту ресурсов. Какие есть
    диски (явно автор что-то утаивает от нас ведь где-то у него существует Windows/NTFS раздел) и надо
    дейстовать аккуратно иначе damage может быть непоправимым. Какие загрузчики. Тома. Программные
    рейды и зеркала. Нумерация партишенов. И прочее.
    Ответ написан
    Комментировать
    Комментировать

  • Зачем для кеширования использовать Redis, если можно сделать файловое кеширование?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Разработка софта - это наука не теоретическая а практическая. Кеш или мемоизация вычислений - это просто один из множества паттернов оптимизации. Вполне возможно что найдется задача где Redis не нужен. Или при интенсивной записи может оказаться что затраты на актуализацию кешей перекрывают
    их полезный эффект при чтении. Кеши могут быть отравлены (poisoned) кривыми данными с бесконечным TTL
    и это может быть проблема. Кеши могут требовать реализации чуть более сложных веб-сценариев с
    If-None-Match или If-Modified-Since. Тоесть их использование не бесплатно для разработки. Ну это не
    чек-боксик включить. Это - архитектурный вопрос и над ним надо думать.

    Redis, как и микро-сервис может физически лежать на другом хосте или образовывать кластер поэтому одно преимущество у него уже есть - это раздельное использование ресурсов.

    Вообще для Redis и Nginx не существует оценочной формулы полезного эффекта. Вы просто берете
    за образец некую работающую систему. Смотрите как на best practices и применяете к своей задаче.

    И потом через A/B тестирование смотрите какие были полезные изменения. Что стало лучше работать.
    Что стало хуже (плата за биллинг использования новых серверов или нодов или больше памяти).
    Ответ написан
    Комментировать
    Комментировать

  • Как с помощью TimescaleDB реализовать выгрузку последних данных с разбивкой по устройствам?

    mayton2019
    @mayton2019
    Bigdata Engineer
    А попробуй убери из индекса дату.

    CREATE INDEX ix_imei_time ON locations (imei);

    Я не работал с TimescaleDB но вообще работать со вторичными индексами в time-series - это плохая тема.
    Лучше выбрать лидирующий партишен как дата. И вторичный партишен как хеш от какого-то интересующего
    атрибута или группы атрибутов. И тогда оптимизатор пойдет просто в тот фасет который соотвествует нужному
    пересечению партишенов.
    Ответ написан
    2 комментария
    2 комментария

  • Можно ли TCP ускорить при помощи TCP via UDP tunnel?

    mayton2019
    @mayton2019
    Bigdata Engineer
    1) Оба протокола работают поверх IP. Тоесть если уровень IP работает медленно - то и нет никакого смысла что-то виртуализировать поверх медленного.

    2) Время пинга является одной но далеко не последней характеристикой сетевого канала. Для игр оно может быть важно а для цифрового телевидения - вобщем-то не очень. Можно создать искусственно ситуацию когда пропускная способность равна гигабиту а пинг плохой и наоборот когда сеть медленная по скорости но отклик - быстрый. Первый вариант будет хорош для телевидения 4К а второй для АСУТП с коротким временем реакции.
    Ответ написан
    Комментировать
    Комментировать

  • Стоит ли мне знать как работает cmd для Python?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Командная строка нужна когда у тебя есть задачи интеграции твоего кода с чем-то другим.
    Также полезно знать ее для задач админства и девопс-освства.

    Обычно знания работы с шеллом - (не только cmd но и bash) это большой плюс к другим
    скилам и к более широкому пониманию того как работает операционная система. Файлы.
    Named Pipes. Коды ошибок и состояний. Логгирование. Анализ крашей.
    Ответ написан
    1 комментарий
    1 комментарий

  • Какие виды и специализации Java программистов бывают?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Самая правильная специализация выставляется работодателем. Вот туда и надо смотреть.
    Откройте местную газету вакансий для Java. И через 2-3 часа чтения у вас будет самая
    правильная классификация или номенклатура или бох еще какая категоризация
    джавистов.

    А что вы здесь еще хотели узнать? Про формы черепов? Или про партийную принадлежность джавистов?
    Ответ написан
    1 комментарий
    1 комментарий

  • Как создать sql песочницу?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Первое. Песочницы можно создавать с помощью Docker.

    Второе. Настройками нужно ограничить настолько чтоб пользователь мог только лишь решить задачу leetcode
    и получить корректный ответ. Должны быть квоты на память, процессор и диск. Должны быть квоты
    на время исполнения query    . Любая попытка превысить квоту - должна моментально прерывать сессию
    пользователя и перегружать контейнер.

    Проблема всех песочниц в том что они предлагают в чистом виде SQL-инжекцию. И это принципиально нерешаемо. Вобщем не забываем про fork-bomb и прочие трюки которые могут даже в условно безопасной
    песочнице создавать проблемы.
    Ответ написан
    Комментировать
    Комментировать

  • Как решить проблему 'utf-8' codec can't decode byte 0xf6 in position 3539: invalid start byte?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Возможно ты не так интерпретируешь смысл ошибки
    UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf6 in position 3539: invalid start byte

    Что это за позиция 3539? Внутри строки? Файла? Или блока utf-декодера?

    Поищи просто 0xf6 внутри файла и посмотри какие байты были до него и после.
    Префикс в четыре единичных бита предполагает следующий паттерн
    11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
    и надо это проверить.
    Ответ написан
    2 комментария
    2 комментария

  • Какую книгу взять новичку в разработке микросервисов на Spring Framework?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Я не понимаю зачем такое ограничение в названии топика?
    Микросервисы и Spring - это как езда на лошади только галопом.
    Или рыбалка только для пресноводных рыб.
    Ответ написан
    Комментировать
    Комментировать

  • Какой бекэнд выбрать для компилятора?

    mayton2019
    @mayton2019
    Bigdata Engineer
    игрушечный скриптовый язык программирования.

    Какой бекэнд выбрать для компилятора?

    В самом вопросе обычно лежит половина ответа.
    Если вы дадите определение back-end - то правильно облегчите себе решение задачи.
    Вот выше вы писал про скриптовый язык. Тогда почему вдруг стали дальше писать про
    back-end и native-компилляторы?

    Есть целый пласт языков или виртуальных машин которые живут и работают не доходя
    всегда до LLVM. И нужен ли вам LLVM - большой вопрос. Что вы хотите от LLVM? HiLoad?
    Это не задача скриптинга.

    Вобщем поставте какое-то внятное целеполагание. Вы создаете скриптовый язык чтобы ЧТО?
    Ответ написан
    Комментировать
    Комментировать