Задать вопрос
  • Как обезопасить базу данных от аварийных выключений?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Такая конфигурация не имеет право называться базой данных. Присоединяюсь ко всем ораторам. Просто добавлю что портативное устройство должно писать логи операций. Чтобы выполнять разбор полетов и фиксировать что делалось. Можно с ротацией. А база данных должна лежать отдельно. На надежных удаленных серверах.

    MySQL - это не совсем DBMS. Это сборный лего-конструктор в котором каждая таблица в отдельности сама определяет свой уровень отказоустойчивости (т.н. engine). Поэтому обсуждать надёжность MySQL нет смысла без обсуждения того как была создана каждая таблица. In general - про надёжность сказать ничего невозможно.
    Ответ написан
  • Как передать данные из php в node js?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Сначала топик начинался хорошо. Но непонятно зачем в последней строке автор ссылается на какие-то файлы. Был совершенно верный посыл. Интеграцию между PHP и NodeJS делать через enpoints. Схема - рабочая.

    Уберите из постановки понятие файл. И всё заработает.
    Ответ написан
    Комментировать
  • Зачем нужен Optional и почему над null нельзя выполнить те же действия?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    В отличие SQL, Lisp и прочих технологий где null/nil имеет смысловую семантику и позволяет выполнять операции в Java любая попытка применить любой метод к null выбрасывает немедленный NPE. Это означает что программист ЗАБЫЛ инициалировать объект. Это грубая ошибка и самое печальное что она не чекается компиллятором. Использование Optional в стримах необходимо чтобы защитить применение map/filter от внезапного NPE.
    Пример который привел автор в начале топика просто неудачен. Он не раскрывает преимуществ Optional. Смотрите статью на сайте Баелдунга. Она - более наглядная.
    Ответ написан
    Комментировать
  • Как порциями по 200 штук распределить файлы по папкам в Linux?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Откуда взялось это техническое задание? Это очень напоминает механику хеширования файлов. Как делают браузеры при сохранении статического контента. Не сложно сделать баш-циклы. Но гораздо полезно понять почему автор этого хочет. Что будет если файлов станет 10001 ? Как именовать каталоги?
    Ответ написан
  • Как в рамках AWS lambda создать zip архив из папки на S3 на python?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Упирается в возможности Питона и AWS-Lambda. Насколько я помню там есть ограничения на память для лямбды и лимит на время для 1 сеанса хендлера. Но я думаю что можно решить эту задачу. Библиотеки сжатия должны быть потоковые. Тоесть без накопления результата в памяти. И степень сжатия надо поставить на store чтоб было максимально быстро.

    Вобщем в рамках этого форума почти невозможно обсудить т.к. нужны сорцы и хотя-бы штук 10 экспериментов. Пробуйте. Я думаю что это решаемо.
    Ответ написан
    Комментировать
  • Как на сервере запустить +100 headless браузеров и в них несколько вкладок?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если эти headless браузеры - прожорливые то надо отказаться от них там где можно. Переписать часть ботов на Python к примеру. Возможен вариант что проблему создают конкретные сайты которые Толи майнят на твоём боте Толи прогружают ненужный контент. Нужен мониторинг памяти по каждой сессии.
    Ответ написан
  • Из-за чего debug assertion failed?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Предположительно ругается стандартная библиотека CRT из за нечетного размера буфера.
    _O_U16TEXT предполагает что символы двухбайтные хотя где-то идёт попытка использовать четное число байт как аргумент.
    Ответ написан
    2 комментария
  • Как работает оператор new с памятью в Java?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Выделяется память в eden space по принципу стека. Поэтому сама аллокация происходит быстро. Когда eden переполняется - запускается процедура уборки и уплотнения GC. Физические адреса объектов при этом могут изменятся. После нескольких фаз уборки выжившие объекты перемещаются в PermGen/Metaspace как постоянные. Так примерно работает lifecycle для классического gc. В новых - не знаю. Могут быть нюансы.
    Ответ написан
    Комментировать
  • Как прочитать данные в Java с ethernet порта?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Надо сначала понять роли. Клиент ты или сервер.
    Ответ написан
  • Что подавать на вход нейронке?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Дорог может быть миллион в зависимости от того что автор хочет получить на выходе.
    Если - посчитать количество гласных букв - то одно. Если категоризировать слово или слова
    то это другое. И возможно тут нужна предобработка слов. Стемминг или лемматизация.

    Вообще НС на вход получает векторы вещественных чисел. И преобразовать слово в эти векторы - большое искусство. Оно должно быть осмысленным. Если нам не удалось получить эти векторы - то бесполезно что либо делать. Нейронка на входе будет видеть шум. И никакого обобщения сделать не сможет.

    Поэтому давайте в топике спросим а как звучит настоящее техническое задание?
    Ответ написан
    Комментировать
  • Как сделать так,чтоб пуля проходила через союзников в 2D платформере?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Алгоритм нанесения damage должен быть совершенно одинаковый для всех. Просто у союзников должен быть множитель на 0.0 а у enemy соответственно 1.0.
    Ответ написан
    Комментировать
  • Можно ли и имеет ли смысл этот код перенести на OpenCL?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Скорее всего параллелизм ничего не даст. Дело в том что параллелятся задачи когда
    1) Shared nothing. Есть множество процессов и они работают со своими массивами данных а потом сливают результат в некий итог.
    2) Шарятся данные но при этом они иммутабельные.
    В твоём случае используются операции такие std::reverse, QVector::mid. Они ломают общий снапшот данных и не дают выполится пункту (2).

    Вобщем надо серъезно сломать алгоритм чтобы получить ползу от параллелизма.
    Ответ написан
    1 комментарий
  • Сколько минимум нужно материала для изучения нейросети по генерации текста?

    mayton2019
    @mayton2019
    Bigdata Engineer
    По нейросетям обычно читают Саймона Хайкина. Но я не уверен что он писал про генерацию текста. Уж очень это специфично. Средний минимум для чтения - это очень странный вопрос. Вряд-ли есть такой критерий.
    Ответ написан
    Комментировать
  • Как написать функцию пересчета значений одной шкалы в другую?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Это в школе называется - построить уравнение прямой по двум точкам.
    Ответ написан
  • Как создать запрос к базе данных?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Данная задача не решается в рамках CrudRepository.

    Архитектурно. Для крупных систем если кто-то хочет искать произвольный текст (fuzzy text search) по вводимому выражению наподобие гугло-поиска специально подключается Apache Lucene или ELK stack. В него реплицируется искомая табличка и далее уже по этой реплике выполняются все текстовые сёрчи.

    Все что вы сейчас наделаете в рамках классической реляционной алгебры будет работать медленно и плохо ибо реляционная алгебра не создавалась вообще для подобных нечетких поисков.
    Ответ написан
    Комментировать
  • Что spring не нравится в запросе?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Попробуй замени запрос на такой

    @Query("select a from Advertisements a")

    Если отработает ОК - то добавляй по одному предикату. Последовательно найдешь какой неправильно написан.
    Ответ написан
    Комментировать
  • Есть ли библиотека python/c# для сканирование печатных тестов?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Есть опенсорцная библиотека Tesseract. Как обращаться к ней напрямую из Python я не знаю. Но возможность такая должна быть. Убежден.
    Ответ написан
    Комментировать
  • Как в Ubuntu объединить два раздела без LiveCd?

    mayton2019
    @mayton2019
    Bigdata Engineer
    ext4 не поддерживает объединение в логические тома. Если-бы при устанвке был использовал LVM (хотя это боян еще тот) или файловые системы такие как BtrFs, Zfs тогда эту операцию можно было-бы провести. Конечно обязательно проконсультиоровавшись с знакомым сисадмином. Тут основная беда в том что это опасные операции и необратимые. Любая ошибка - и ваши данные потеряны причем на многих разделах сразу.

    А так... подключите /dev/sda4 просто как папку например /video и используйте.
    Ответ написан
    Комментировать
  • Как обойти большой json файл и обновить все связанные записи в MySQL, с отставанием от файла < 2 сек.?

    mayton2019
    @mayton2019
    Bigdata Engineer
    При такой постановке - действительно ничего нельзя сделать. Просто он не предназначен для таких операций. Но хотя-бы первый раз его надо затянуть в базу. И всегда там хранить эти данные и там-же обрабатывать.
    Ответ написан
  • На чем пишут десктоп приложения на Java/C#?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Если писать под Windows то наверное лучше брать .Net - фреймворки. Они более нативные и как следствие
    имеют богаче возможности конкретно под Винду.

    Java сегмент разработки UI не захватила. Я сужу по количеству вакансий. И сегодня нужно быть очень смелым и дерзким чтобы что-то писать на десктоп под Java.

    Хотя есть альтернативные направления (Android) но я к сожалению не специалист в нем и как там - не знаю.
    Ответ написан
    Комментировать