Задать вопрос
  • Как сделан обход NAT в i2p?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если гора не ходит к магомету...

    Скорее всего клиентский софт i2p сам инициирует соединение.
    Ответ написан
  • Как установить максимальное количество строк в таблице?

    mayton2019
    @mayton2019
    Bigdata Engineer
    По постановке это похоже на буфер очереди сообщений. Вам нет смысла синхронно удалять хвостовые строки.с
    Пускай это делает отдельный джоб раз в сутки например. Вам - же не принципиально если пол дня табличка будет в 1001 строку?

    А консистентный снимок top 1000 строк вы всегда можете получить запросом с сортировкой и лимитом. И это будет решение в духе баз данных а не Java-буферов с блокировками.
    Ответ написан
  • Возможно ли обучение нейросети на обработанных статическим алгоритмом изображения?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Во первых непонятно что такое статический алгоритм? Ну я знаю статические переменные класса например. Алгоритм... это что-то новое.

    Во вторых ты являешся постановщиком задачи. И у тебя на выходе есть критерий качества. Не знаю. Ну например confusion matrix. И производные. Precision. Recall e.t.c. Или какие-то коэффициенты удачного распознавания. Вот сделай два эксперимента - и будет самый исчерпывающе-правильный ответ. И безо всяких советов отсюда.

    В третьих. Я не знаю как в графике. А в машинном обучении для big-data всегда есть фаза предварительной обработки данных человеком. Data Preparation. И там прямо протокол: фильтрация выбросов, заполнение gaps, нормализация, фиксация неконсистентных данных. Вот. В случае обучения с учителем - теггирование данных.
    Вобщем идея такая что нельзя мусор толкать на вход нейросети. Вот. И глубину твоего участия в фильтрации ты сам определяешь.
    Ответ написан
    Комментировать
  • Ошибка пи запуске программы на с++?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Мне кажется что проблема в том что это One-Drive. Попробуй скопировать содержимое в другое место.
    Ответ написан
    1 комментарий
  • Как вычислить Info Hash torrent файла?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Утилита transmission-show показывает содержимое torrent-файла.
    Ответ написан
    Комментировать
  • Куда расти дальше?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я не специалист по C# поэтому по качеству кода не смогу ничего сказать. Но могу сказать по другой части.

    Проект создан в 2 коммита. Это обман. Так не бывает. Программисты не делают проект в 2 шага. Обычно
    идет некий итерационный процесс когда в течение дня. Либо в течение итерации разработки какой-то
    фичи делается бранч. И вмерживается в мастер. Или делается отдельный коммит в мастер с описаием что делалось.
    И тогда проект приобретает ИСТОРИЮ изменений. По истории видно как авторы работали. Что изменяли.

    У проекта нет документации. Надо описать что это для чего и так далее. Нет инструкции по сборке.
    Каждый разработчик должен иметь возможность собрать любой проект с гитхаба прочитав инструкцию.
    Сборка - это не программирование. Это отдельный скилл. Почитай что такое сборщики. И это не среда
    разработки. Это отдельный продукт. Обычно в консоли работает. Чтоб на сервере собирать проекты
    в режиме автономного процесса без участия человека.

    У проекта нет модульных тестов. Это говорит о том что нет возможности бытро проверить не сломалась
    ли логика после изменений. Тесты надо добавить.

    Нет внешних метрик здоровья проекта. Непонятно в каком состоянии щас он находится. Компилируется ли вообще? Посмотри как другие проекты в гитхабе выглядят.

    В исходники нужно вставить текст лицензии. Подойдет любая из опен-сорцных.
    Ответ написан
    Комментировать
  • Дистрибутив для работы с сетями и кибербезом?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Обычно свежесть обратно пропорциональна количеству пользовательского тестирования. Поэтому в некоторых консервативных отраслях как кибер-без я-бы вообще не гнался за свежестью как за целью.

    Воообще... Что вы ожидаете из свежатинки? Новый свежий сетевой протокол? Или новый алгоритм шифрования?

    Вот Fedora бравируют скоростью своих обновлений а RedHat плететься в хвосте. Но когда речь идет о безопасности - обычно берут RedHat.
    Ответ написан
    1 комментарий
  • Какой пет проект можно реализовать на Java?

    mayton2019
    @mayton2019 Куратор тега Java
    Bigdata Engineer
    Я делал себе такие проекты типа - индексирование текстовых фалов в /My Documents. Или раскладывание фоток по датам фотоснимков на основе exif тегов.

    Выбор пет проекта несет в себе тяжкое бремя само-постановки и само-организации. Зная что твой проект никто не проверит и качество его реализации никого не интересует я-бы предложил ничего не делать если оно тебе не надо практически. А если есть практическая задача - то делай ее для себя и сам принимай ее.

    Почему я давлю на результат и на приёмку? Потому что 99% таких проектов успешно начинаются и потом забрасываются потому что человек выгорает еще на старте. Чтоб не выгорать - нужно ТЗ. Нужел девелопмент план. И нужен хоть какой-то человек который взглянет на результат.

    Если этого нет - пет-проект уйдет на свалку истории. Как впрочем и большая часть контента github. Это унылые копи-пасты, туториалы и незаконченные произведения.
    Ответ написан
    1 комментарий
  • В чем причина неэффективного обучения DQN-агента посредством python?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Я не смотрел код. Но могу предположить следующее. Возможно сеть пытается выучить наизусть все
    пути ведущие к победе. Их порядка 8 тысяч.

    Нужно ввести в сеть искусственные подсказки. Как в шахматах пару функций оценки позиции которые
    говорят хорошая позиция или плохая получается на данном ходе. Например 2 крестика в ряд - это плюс один
    к хорошей позиции. С учетом возможности поставить крестик в свободное место.

    Я думаю даже в альфа-зеро такие вводили. Например учет камней.
    Ответ написан
    4 комментария
  • Нейросети, пакеты, библиотеки, откуда такая сложность?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Насколько я понимаю TensorFlow - это коробочное решение от Гугла которое также поддерживает специальное железо TPU (Tensor Processing Unig) которое работает лучше чем вычисления на видеокартах.

    А персептрон - это просто математическая абстракция. Причем самого начального уровня. Для многих алгоритмов обучения пороговая функция не годится (там есть требования дифференцируемости) и поэтому нейрон с гладкой функцией активации обычно используется как следующий шаг от персептрона. Хотя у теоретиков НС там были большие теоретические споры про скрытые слои и про учет слоев (как считать).
    Ответ написан
    7 комментариев
  • Как понять какой стандарт Си используется в проекте?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В исходниках может не быть никакого явного указания стандарта. Можно попробовать собирать проект начиная с самых старых версий и вести учет ошибок. Вот как ошибки уйдут - так и стандарт соотвествует.
    Ответ написан
    Комментировать
  • Как делить куб пополам?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Дружище Корень

    Я вместо ответа дам тебе несколько советов.

    Первое. Тема Ферма является толстым троллингом для всех кто знает математику. И эксперты qna мне кажется ощущают от тебя усталость. Ты достаточно много продуцируешь потока сознания и это не идет на пользу. Лучше напиши 1 вопрос в неделю но обдумай. Второе Есть разница между операцией деления "/" в Python и в языках C++/Scala. Результат разный. Можно получить 5/2 = 2.5 или можно получить целое 2. Это очень важно для тех кто читает код. И это кардинально меняет взгляд на твою формулу которую ты пишешь в самом начале. Поэтому всегда обозначай язык разработки. Это поможет читающим понять формулу. Иначе будут обиды и непонимания. И если ты тегируешь топик Математикой то не стоит писать всякие исходники с inserts. Это раздражает. Раздели свои проблемы на части. Так будет лучше. Третье. Если ты выступаешь медиатором между Microsoft Bing и прочими чатами то - обозначь это. Пускай это будет джентльменское соглашение. Я всегда пишу если мой ответ был получен с GPT. Тоесть я разделяю за что я лично отвечаю и за что всякие AI.
    Ответ написан
    5 комментариев
  • Как правильно реализовать алгоритм Дейкстры в Python с применением ООП?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Графы и графовые алгоритмы являются хорошим краш-тестом для memory. Очень сложно придумать оптимальную структуру для графа чтоб было и экономно и быстро искать исходящие и входящие ребра в вершину.

    Есть компактные структуры из примитивов такие как матрицы смежности например. Но они могут быть плохие
    в другом. Например в поиске в глубину. Насколько Алгоритм Дейкстры пригож для этих структур - никто не знает.

    Я-бы предложил брать большой граф на несколько тысяч вершин и гонять его в разных структурах добиваясь
    хорошего соотношения скорости к размеру потребляемой памяти.
    Ответ написан
    2 комментария
  • Надо ли что-то еще делать для избежания SQL инъекций?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Нет. Ничего больше не нужно делать. Вообще не нужно делать никаких действий которые нельзя доказать или как-то протестировать. Иначе программирование превращается в черную магию и колдунство.
    Ответ написан
    Комментировать
  • Mysql постоянно отваливаеться, to many connection, connection refused, как оптимизировать?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Скорее всего неверно написанное приложение. По хорошему надо использовать пул коннектов и тогда БД не будет видеть такие ошибки. Но возможно другая ситуация когда сессии будут долго ждать освобождения нового объекта connection из пула. А почему он долго не освобождается - это еще один вопрос. Видимо у вас - длинные транзакции. Этого надо избегать. Короче проблема комплексная и надо смотреть "как было раньше" и "что изменялось". Хорошая идея откатить версию комплекса на 1 шаг назад чтобы просто посмотреть что действительно проблемы на было и в новой версии она возникла. Не думаю что хостинг тут сильно виноват.
    Ответ написан
  • Почему в SQLiteStudio так мало типов данных?

    mayton2019
    @mayton2019
    Bigdata Engineer
    На сайте sqlite https://www.sqlite.org/datatype3.html перечислено действительно 5 storage classes. Насколько я понимаю создатели решили что эти storage classes являются как-бы супер-типами для всех прочих типов данных.
    Прочие типы данных как-бы конкретизируют эти storage classes.

    Почему студия показывает только эти - чорт его знает. Но разве это вас ограничивает в написании своего ddl ?

    Вам еще повезло что вы не работаете с HBase например. Там вообще все типы данных - это byte_array и вот что хочешь то и делай. По сути разработчику самому предлагают вводить понятие типа данны и механики сериализации-десериализации.
    Ответ написан
    Комментировать
  • Какое ваше отношение к таблицам с внешним ключам с NULL значением?

    mayton2019
    @mayton2019
    Bigdata Engineer
    В более крупном масштабе это не работает. В географических справочниках и классификаторах есть одна
    проблема. Адресная строка - неформализуема.

    В разных странах и государствах после уровня страны например не всегда идут города или области. Там могут
    быть более сложные объекты (федеральные земли, периферии). И хуже того они могут стоять на разных уровнях. Улицы одного города могут внезапно иметь двойников (после слияния поселков к примеру). Могут быть улица Ленина, проспект и бульвар и переулок того-же имени.

    Вобщем если вы хотите иерархию - то можно делать иерархию. Но нельзя гарантировать жесткую типизацию для какого-то уровня. И с уникальностью - косяки.
    Ответ написан
    2 комментария
  • Загрузить 1000 маленьких картинок за 1 request?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Можно попробовать создать texture atlas. Разместить 1000 картинок на одной большой и скачивать за 1 реквест.
    Ну а потом средствами канваса резать их как колбасу для публикации.
    Ответ написан
  • Как подготовиться к Олимпиаде по криптографии?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Если честно я впервые слышу именно про такую олимпиаду. Обычно идут Математика или Информатика. Совершенно не представляю какие задачи могут там (в криптографии) быть.

    Вообще. Есть только один способ готовиться к олимпиаде. Брать задачники и
    прорешивать задачи каждый день. По несколько часов. По программированию
    у меня был один такой задачник образца 2000х годов. Там почти все решения
    задач на Pascal.
    Ответ написан
    Комментировать
  • Почему запрос медленно выполняется MariaDB?

    mayton2019
    @mayton2019
    Bigdata Engineer
    Звездочка * означает что все найденные документы будут физически переданы по сети на клиента.
    Поэтому твои два эксперимента надо расширить. Проверить чем отличались условия с точки зрения
    сети. Куда (как далеко) пердавались эти 1000 документов.
    Ответ написан
    Комментировать