Ответы пользователя по тегу Машинное обучение
  • Проблема в реализации нейросети для распознавания образов, проблема в архитектуре?

    @dmshar
    А книжки читать не пробовали? Там, где аккуратно и систематически излагаются основы нейронных сетей, когда какую архитектуру применять, какие проблемы, нюансы и подводные камни есть, как повысить точность и не попасть в переобучение. И как "что-то исправить", если что-то пошло "не так". В общем- нормальный учебник. Причем написаны такие книги как правила людьми, которые точно в теме и которые при этом еще и свои мысли могут излагать, грамотно и последовательно. А их редакторы-рецензенты - как правило такие книги вычитали и убрали очевидные ошибки.
    Или читать - не наш путь. Это же самому надо, разбираться, анализировать, сопоставлять .Проще на форуме спросить у неведомо кого, получить от него непонятного качества консультацию и потратить время на еще одну итерацию с непредсказуемым шансом на успех. А потом - либо бросить это дело, либо все равно засесть за книги.
    И вас с наступающими!
    Ответ написан
    1 комментарий
  • Как можно оценить силу корреляции двух вещественных величин?

    @dmshar
    Рискую вас удивить, но сила корреляции "двух вещественных величин" измеряется с помощью коэффициента корреляции, известной так-же, как "корреляция Пирсона".
    Ответ написан
    Комментировать
  • Какую модель классификации лучше использовать?

    @dmshar
    Если под моделью вы понимаете метод, который лучше применить для решения вашей задачи, то ответ зависит от того, что за данные вы имеете. Зависят-ли они явно или неявно от времени - если да, тогда вам надо строить модели процесса на основе временных рядов и использовать соответствующие методы предсказания (какой именно можно понять, только проанализировав данные).
    Если данные от времени не зависят - тогда используются методы классификации, а какой именно - любой ответ без предварительного анализа данных будет угадыванием, с соответствующим уровнем полезности. Именно потому, что метод зависит от данных и придумано их великое множество.
    Ответ написан
    4 комментария
  • Машинное обучение (Jupyter Notebook) Модели Регрессии MAE?

    @dmshar
    Предположу, что в данном случае оба метода дают тождественный результат на одной и той-же обучающей выборке. Соответственно - и ошибка одинакова.
    Ответ написан
    Комментировать
  • Как обучать сверточные нейронные сети?

    @dmshar
    А что, у вас Google уже отключили?

    Goodfellow I. Deep Learning - с подробной математикой.
    Николенко С. Глубокое обучение. - хороший, почти фундаментальный учебник с примерами TF.
    C. C. Aggarwal Neural Networks and Deep Learning A Textbook - собственно "Textbook"
    Stevens E. Deep Learning with PyTorch
    Паттерсон Дж., Глубокое обучение с точки зрения практика - с описанием применения в разных областях.
    Сhollet F. Deep Learning with Python

    и это книги только за последние два года и те в которых CNN разбираются отдельно и подробно. Выбирайте на свой вкус, и желаемого уровня "подробности".
    Про сотни блогов и сайтов с этой темой даже не заикаюсь - вам ведь надо "подробно".
    Ответ написан
    Комментировать
  • Распознавание пожара на спутниковом снимке?

    @dmshar
    Возможно все. Вопрос - хватит ли у вас знаний, если вы не можете самостоятельно найти ответ на базовый вопрос.
    Таких примеров по сети гуляет много. На kaggle были соответствующие соревнования:
    https://www.kaggle.com/elikplim/forest-fires-data-set
    Один из примеров решения задач с помощью нейросетей и OpenCV.
    https://towardsdatascience.com/early-fire-detectio...
    Вот еще пару вариантов:
    https://link.springer.com/chapter/10.1007/978-3-03...
    https://journals.sagepub.com/doi/full/10.1177/1748...
    https://github.com/Skar0/fire-detection
    https://www.mdpi.com/2072-4292/11/14/1702/htm
    Вот - без нейронки:
    https://www.hindawi.com/journals/mpe/2018/7612487/
    Ну и далее - по ccылкам самостоятельно. Будут конкретные вопросы - задавайте.
    Ответ написан
    Комментировать
  • Как выучить всю нужную математику для нейронных сетей?

    @dmshar
    А почему только математику для нейронных сетей? А что программирование не надо?
    А почему только для нейронных сетей? Нейронные сети это один из разделов машинного обучения. Да, самый модный, но всего лишь один из. (Пока освоите "математику" все может измениться и круто).
    Это как школьники спрашивают - какой язык надо учить, что-бы стать мобильным разработчиком. Не понимая, что профессии "разработчик мобильных приложений" нет. Есть профессия "программист-разработчик". Так и с нейросетями.
    Вон люди десятками считают навыки, которыми должен обладать желающий стать специалистом по машинному обучению
    И математика там пусть самый главный, но один из необходимых скилзов.
    А вот roadmap только по
    статистике, которая понадобиться
    А вобщем - The Roadmap of Mathematics for Deep Learning
    И это только из самого последнего. Если немного напрячься - можно много чего полезного найти на такие простейшие вопросы. Например какую математику должны знать специалисты по машинному обучению после окончания приличного университета.

    В любом случае советую начать с освоения склизов по самостоятельному гуглению на ответов вопросы, которые задаются по десятку в месяц даже на этом сайте. Без этого в машинном обучении делать практически нечего.
    Ответ написан
    Комментировать
  • Правильно ли я считаю гистограмму градиентов?

    @dmshar
    Гистограмма - по определению - это структура данных (объект), в которых каждая строчка соответствует некоторому интервалу возможных значений ваших входных данных, а значение в этой строке - количество элементов во входных данных, значение которое попадает в этот интервал.
    Так что ваши рассуждения правильны.
    При этом ни на какие части никакие "неудобные элементы" не делятся.
    (На третьем ресурсе копировать свой ответ уже не буду).
    Ответ написан
  • Книга по нейронным сетям, подойдет ли?

    @dmshar
    Ну книга же явно называется "Tensorflow для глубокого обучения". И аннотация честно начинается с фразы "Книга позволяет освоить Tensorflow - новую, революционную программную библиотеку Googl для глубокого обучения". Книга НЕ обещает вам, что она вас обучит машинному обучению и нейронным сетям.
    Знание Tensorflow делает вас специалистом по использованию Tensorflow с весьма поверхностным пониманием Машинного обучения. Хотите стать специалистом по машинному обучению и одному из его разделов - нейронным сетям, именно так и изучайте - сначала ML, потом нейронные сети. И после того, как хотя бы начнете поймать, что такое глубокое обучение, как его использовать и когда применять - учите Tensorflow, Keras, PyTorch и что еще посчитаете нужным.
    Ответ написан
    Комментировать
  • Как выделить похожие признаки в тексте(ML)?

    @dmshar
    Знание PyTorch сделает из вас специалиста по PyTorch, но никак не сделает специалиста в области МL.
    Что-бы изучать МL надо изучать МL, а PyTorch рассматривать всего-лишь как один (из многих) инструментов для решения (некоторых) задач в области МL и в области обработки естественных языков в частности. И не более.
    Поэтому, рекомендую не прыгать через пять ступенек, а начать с начал и двигаться естественным путем:
    https://www.kdnuggets.com/2020/10/roadmap-natural-...
    https://www.lexalytics.com/lexablog/machine-learni...
    https://towardsdatascience.com/text-classification...
    https://towardsdatascience.com/natural-language-pr...
    https://www.kdnuggets.com/2020/07/5-fantastic-nlp-...
    https://www.amazon.com/Applied-Text-Analysis-Pytho...
    Ответ написан
    Комментировать
  • Простой API машинного обучения?

    @dmshar
    Если пример 1 еще можно отнести к вопросам, которые может быть привлекут внимание создателей соответствующего софта, то пример 2 - как-то непонятно сформулирован (лучшее время для стирки - это тогда, когда стоимость электроэнергии минимальна, т.е. ночью - что тут анализировать с вашего браслета?) а пример 3 - просто алгоритмическая задача. А если говорить про "предсказание" значений временных рядов соответствующих показаний - то оно также хорошо проработано и решается соответствующими методами из библиотек машинного обучения.
    Ответ написан
    Комментировать
  • При обучении нейронный сетей, как собрать негативную часть датасета?

    @dmshar
    Погодите, задача детекции объекта - это не задача выделения фона. Это задача выделения объекта.

    Решаема и решается многими методами. И решений есть достаточно.
    Начните отсюда -

    https://www.kdnuggets.com/2019/08/2019-guide-objec...
    https://ai-news.ru/2020/10/analiz_izobrazhenij_i_v... (Первые 4 или 5 лекций)
    https://www.analyticsvidhya.com/blog/2019/07/compu...
    https://towardsdatascience.com/real-time-object-de...
    https://towardsdatascience.com/detailed-tutorial-b...
    https://habr.com/ru/company/recognitor/blog/505694/
    https://towardsdatascience.com/face-detection-mode...
    https://towardsdatascience.com/easy-object-detecti...
    Ответ написан
    Комментировать
  • Каким способом обучить нейронную сеть?

    @dmshar
    16 входов. Бинарный выход. Зачем тут нейронная сеть???
    Берете любой классический классификатор - kNN, DecisionTree, Логистическую регрессию, ... да какую угодно, и вперед. Наивный Байес даст прекрасную вероятность принадлежности. Благо все уже реализовано до нас.
    Реализовано - в Python - scikit-learn, в R, в любом более-менее серьезном пакете машинного обучения.
    Нейросеть - разве что от нечего делать, большого желания покопаться в теме и массы свободного времени. У них своя сфера применения. Не стоит нейросеть совать в любую дырку. Микроскоп не предназначен для забивания гвоздей.
    Ответ написан
    Комментировать
  • Возможен ли, перевод звукового потока с помощью нейросети?

    @dmshar
    Не рекомендую. Судя по вопросу ваше представление о нейросетях - крайне начальное. Если начинать сразу с двух сложнейших задач, то с вероятностью 99.99999% вы его во-первых, в одиночку не осилите, во-вторых - такие задачи решаются очень не быстро, в третьих - они крайне требовательны к уровню подготовки команды. (Оставшиеся доли проценты - на то, что вы по талантам выше Эйнштейна и Тюринга вместе взятых).
    Вы же, начав с этой задачи ничего, кроме как отбить какую-бы то ни было охоту изучать предмет - не получите.
    Поэтому рекомендую начинать изучение с азов, постепенно поднимаясь к более сложным темам. И учтите, что это очень не быстрый путь.
    Ответ написан
    Комментировать
  • Можно ли прогнозировать только по категориальным признакам в ML коих больше 100?

    @dmshar
    Любой метод - не панацея. Ответ на ваш вопрос - прогнозировать-то можно. Но вот есть-ли зависимость вашего целевого признака от ваших (пусть даже 100) независимых признаков - это совершенно другой вопрос.
    Неудача в прогнозировании может быть вызвана как неправильно выбранным методом, так и отсутствии корреляций между входными и выходными признаками.
    И, кстати, подбор наиболее адекватных признаков - это одна из самых важных задач в ML.
    Ответ написан
    Комментировать
  • Где можно найти актуальные бесплатные курсы по ИИ и машинному обучению?

    @dmshar
    Не надо вам пока изучать ИСКУССТВЕННЫЙ интеллект.
    Пока надо сосредоточиться на развитии ЕСТЕСТВЕННОГО интеллекта и освоить умение самостоятельно гууглить ответы на свои ЭЛЕМЕНТАРНЫЕ вопросы, тем более что ответов на него - уйма. Даже на этом самом форуме.
    Без такого умения изучение чего бы то ни было в области информационных технологий - пустая трата времени.
    Ответ написан
    Комментировать
  • Обоснованность бутстрап метода.Почему можно экстраполировать на генеральную совокупность?

    @dmshar
    Что-то немного не сходится. Проведя ресемплинг мы получаем эмпирическую функцию распределения (например) среднего значения. Для этого распределения (а не для распределения исходной выборки) мы можем строить доверительный интервал, т.е. такие пределы, в которых (условно) в 95 случаях из ста попадет среднее нашей выборки.
    Т.е. реальное среднее реальной выборки или матожидание генеральной совокупности вполне может и не попасть в этот доверительный интервал, но вероятность этого меньше 5%. Причем такое заключение мы сделали исключительно на основе имеющихся данных. Если вдруг у нас появятся дополнительные данные из той-же генеральной совокупности, то вполне возможно, что наше заключение придется корректировать.
    Главное понять: статистика - это не об уверенности. Никогда! Статистика это на самом деле о вероятности ошибиться в своей уверенности.
    P.S. Все таки загляните в книгу, которую я вам порекомендовал в другом месте.
    Ответ написан
    8 комментариев
  • Применение ML моделей в production?

    @dmshar
    Когда уже люди поймут, что Ноутбуки - это средства объяснения, изложения, и публикации своего анализа, а не средства разработки чего-то серьезного.

    Если производительность не "печет" - то переписываем модель в нормальной форме Python-скрипта. Там и к БД можно обратиться и интерфейс нормальный прикрутить.

    Если производительность критична - например, системы управления быстропротекающих процессов в реальном времени - то либо компилируем наш скрипт (работает, но не очень), либо вообще переписываем на том-же С++.
    Ответ написан
    1 комментарий
  • Существует ли алгоритм ML, работающий с панельными данными, как это происходит в МНК?

    @dmshar
    Что-то вы намешали все в одну кучу.
    Панельные данные используются не только в эконометрике. Более того, методы работы с панельными данными существуют сами по себе, а уж используются и в эконометрике тоже.
    На счет "реализации в эконометрике" - будет интересно ознакомиться со ссылочкой именно на "реализацию", хоть в одном из распространенным пакетов.
    Что касается противопоставления ML и МНК - тоже весьма загадочная фраза. МНК - это некий математический метод, лежащий в основе многих прикладных методов, в том числе - регрессионного анализа, который вполне успешно и широко используется в машинном обучении.
    Возвращаемся к панельным данным. Имеется модуль linearmodels (https://bashtage.github.io/linearmodels/index.html#) в котором есть целая группа методов работы с панельными данными:
    https://bashtage.github.io/linearmodels/panel/inde...
    Пользуйтесь на здоровье.
    P.S. Кстати, в реальных задачах часто можно ограничиться просто многомерной регрессией, одним из параметров которой есть время. Попробуйте и так.
    Ответ написан
    Комментировать