Ответы пользователя по тегу Машинное обучение
  • Где точка пересечения машинного обучения и робототехники?

    @dmshar
    Знает кто-нибудь реальные примеры, где нужны такие люди?
    Судя из вопроса что-то я сильно сомневаюсь, что вы такой человек. Я имею ввиду такой, который одинаково и глубоко знает и то и другое.
    Знаете, мечты сильно отличаются от реальности.
    Поэтому изучите сначала хотя-бы что-то одно. А там и найдете точки пересечения. Или уже перестанет быть интересно.
    Ответ написан
    3 комментария
  • Как распознать кириллический экранный текст на изображении?

    @dmshar
    Берете в качестве примера обучение сети некирилическому тексту (скорее всего, вам будет доступен английский), разбираетесь и сами (если уж хочется самостоятельности) по аналогии делаете распознавание кириллицы.
    А то, что качество не радует - ну так сравните, на скольких РАЗМЕЧЕННЫХ примерах обучались английские распознавалки и сколько вы им можете подсунуть за разумное время кириллических размеченных образцов.
    Ответ написан
  • Машинное обучение, что нужно знать в математике?

    @dmshar
    Ребята, вы что совсем "того". Я понимаю, задать вопрос в Гуугл - это сверхтрудная задача, требующая невероятных умственных усилий и полного напряжения сил. Но просто просмотреть сам Тостер, ну хотя-бы всего-лишь за последние 3 (ТРИ !!!) дня, даже не неделю, Что и на это ума-разума не выросло?
    Литература или какие-нибудь курсы математики для машинного обучения? - задан 7 марта.
    Что нужно изучать для глубокого анализа данных? - задан 8 марта.
    Был курс, но не могу найти его снова, по питону и машин леарнинг? - задан 9 марта.
    Это что, полная деградация Тостера как площадки для повышения квалификации и превращение его в площадку для лентяев и школьников-недоучек?

    А по теме уже писал. Если человек при свободном доступе к интернет не способен самостоятельно найти ответ на такой элементарнейший вопрос - делать ему в области такой мозгоемкой отрасли как машинное обучение - нечего. Ну или в лучшем случае - рано.
    Ответ написан
    2 комментария
  • Был курс, но не могу найти его снова, по питону и машин леарнинг?

    @dmshar
    Вот поэтому, суперточному описанию "то ли по нейросетям, то ли по машинному обучению на питоне...... используется библиотечка онлайн ...... есть какой-то датасет.... а оно тебе графики строит, предугадывает дальнейшее поведение и прочие прелести.......то ли от гугла, то-ли еще от кого-то известного...... Или может что еще посоветуете почитать. " .
    в сети не просто много, а почти все, что там есть.
    Надоело для ленивых каждый раз переписывать. Вот позавчера уже составлял для очередного страждущего знаний, там и литература и курсы:
    Литература или какие-нибудь курсы математики для машинного обучения?
    А по самой задаче - проблема в том, что у каждого из ваших конкурентов может быть своя особая модель, иногда в корне противоречащая другим. С помощью МL вы можете либо попытаться понять, у каких конкурентов подобные модели (задача кластеризации) либо для каждого из конкурентов (или их выделенных групп) составить их модель ценообразования. Впрочем смысл последнего действия более чем сомнителен.

    А графики посмотреть - так это вообще к МL никаким боком не относиться.
    В общем - пора наводить порядок в своих мыслях и от "поразмыслить" переходить к "исследовать"
    Ответ написан
  • Как проклассифицировать пост в социальной сети?

    @dmshar
    Ваш вопрос как-то уж очень сумбурный.
    Что удалось из него понять.
    1. Вы умеете выявлять тональность текста. Предположим - "негатив-позитив". Скорее всего результат можно нормировать в диапазон (-1;+1)
    2. Вы умеете классифицировать изображения "там" (кстати - где "там"?) Ну, проклассифицировали по классам. Может по дихотомическим, может по множественным. Получили некоторую оценку принадлежности к классу, которые сами предварительно выделили. В любом случае полученную оценку можно при необходимости нормировать.
    3. Что с чем связывать вы собрались? Если предположить, что и первая и вторая задача разбрасывала ваши посты по классам - то тогда вы теперь можете перейти к классической многомерной (а очень похоже - что всего-лишь двумерной) задаче классификации, которую можно решить любым известным методом. Правда, придется перепробовать разные методы, так-как универсального нет. Но есть надежда, что что-нибудь в диапазоне от kNN до случайного леса вам да и подойдет.
    4. Если есть добавочная информация - ну в худшем случае это увеличит количество признаков, с которыми работает классификатор.
    5. Как нет готового датасета? Вы же написали "я беру и обучаю свою модель по готовым датасетам". Т.е. есть датасет постов с текстами, очевидно - и с картинками, причем раз вы уже обучили - то значит он размеченный. И вы же сами пишете "к посту есть инфа о названии группы где он выложен, дате, количестве лайков и репостов". Ну не отбрасывайте эту информацию, а вместе с результатами сентиментного анализа и классификации изображений передавайте на конечный, обобщающий классификатор. Проблема-то в чем?
    Ответ написан
  • Литература или какие-нибудь курсы математики для машинного обучения?

    @dmshar
    Вот скажите, для вас действительно так непреодолимо трудно самостоятельно набрать в Гуугл соответствующий запрос и получить результат? Или это элементарная лень?
    Ну, выбирайте:
    Математика для машинного обучения и нейронных сетей при школьной базе знаний?
    https://tproger.ru/translations/ai-no-math-2/
    https://techrocks.ru/2019/09/06/15-books-on-machin...
    https://www.youtube.com/watch?v=8Akj6DECbcc
    Какие темы в математике необходимо знать, чтобы начать изучать машинное обучение?
    С чего начать изучать машинное обучение?
    https://yandexdataschool.ru/edu-process/courses/ma...
    https://otus.ru/promo/math-ds/
    Онлайн обучение на специальность Data Science с нуля. Какие курсы выбрать?
    https://skillfactory.ru/math-stat-for-ds
    https://ai-news.ru/2018/08/matematika_dlya_analiza...
    https://www.ozon.ru/context/detail/id/24699920/
    http://www.machinelearning.ru/wiki/index.php?title...
    https://postnauka.ru/books/74127
    https://dataart.ua/articles/uchimsya-mashinnomu-ob...
    https://neurondata.ru/SJqXpe8vH
    https://it-events.com/events/14786
    https://ecoacademy.econophysica.ru/courses/mathema...
    Machine Learning и Big Data за три дня?
    Статистика для data science. С чего начать?
    Обратите внимание , специально для вас, все - на русском. Хотя без английского в эту тему лучше и не лезть.
    Ответ написан
    Комментировать
  • Прогнозирование отказа прибора?

    @dmshar
    Такие задачи сегодня действительно успешно решаются методами машинного обучения.
    То, о чем вы говорите - "дамп-файл" - это по сути временной ряд с записанными показателями вашего прибора (если я правильно понял). Плюс вы имеете информацию о том, когда в ходе ваших измерений прибор выходил из строя. Все это в совокупности составляет "обучающую выборку". Ваша задача найти такие паттерны в поведении системы, которые предвосхищают наступление сигнала поломки.
    Не знаю, чем вы конкретно занимаетесь, но я встречался с такими задачи в обнаружении отказов оборудования самолета, в обнаружении отказов в работе оборудования АЭС, в обнаружения начальной стадии заболевания, в задаче обнаружения вторжений в компьютерных сетях. Конечно, без грамотной поддержки специалиста в предметной области задачу не решить (или очень сложно решить). Его задача - объяснить в первом приближении, какие параметры могут влиять на появление аварийного сигнала, ваша первоначальная задача - проверить его "показания", скорее всего согласиться с ним, а может и скорректировать этот список (бывает и так).
    После этого ваша задача построить классификатор. Классификатор - это такой алгоритм, заданный либо функционально, либо логически, либо программно, который на вход будет принимать ваши будущие дамп-файлы, а на выходе давать прогноз (ставить диагноз) о приближении события , а по сути - относить эти данные к одному из классов, в простейшем случае - к классам "норма" или "предаварийное состояние".
    В машинном обучении такой подход носит название "обучение с учителем" т.е. в начале вы обучаете (строите) алгоритм классификации, а потом используете его для предсказания. Методов построения классификаторов - достаточно много, от тривиального кNN до методов на основе различных нейросетей, от методов анализа временных рядов до систем на основе нечетких вычислений. И заочно вам сказать, какой именно из этого множества алгоритмов целесообразнее применить именно для вашей задачи -невозможно. Тут уж вам потребуется либо самим разбираться с ними (генеральное направление я указал), либо нанимать специалиста по ML.
    Прочитать об этом можно где угодно - от научно-популярных статей типа
    https://habr.com/ru/post/460467/
    https://towardsdatascience.com/how-to-implement-ma...
    https://www.kdnuggets.com/2017/04/datarpm-predicti...
    до более серьезных работ (тут их приводить нет смысла, если дойдете до уровня когда они вам потребуются - думаю сами их найдете для своей предметной области. Если нет - напишите, чем смогу- помогу).
    В любом случае, поставленная вами задача - не легкая, но интересная. Быстро и с наскока ничего вразумительного вы не получите, но если найдете в себе силы и интерес углубиться - результаты могут быть глубокими и значимыми.
    Удачи!.
    Ответ написан
    2 комментария
  • Как правильно спроектировать приложение по распознаванию лиц?

    @dmshar
    Мне очень понравился вопрос.
    Ну действительно. Человек только-только (месяц) как начал разбираться в машинном обучении (у других что-бы понять что к чему годы уходят) и хочет сразу же создать весьма нетривиальное приложение, потому что "проще учиться разбирая что-то сложное" (теоретически верно, при условии, что есть необходимая база знаний, упорство и умение самостоятельно учиться) . При этом - в общем-то не хочет разбираться что и как работает, но и взять готовую библиотеку и разобраться хотя-бы в ней - ни-ни, "что бы лучше самой понять". Весьма похвально, правда не совсем ясно, как это сделать без глубокого понимания предмета, то то такое.
    Однако при этом найти в интернете описания решения своей и подобной ей задачи (коих - описаний - в интернете пруд пруди, включая и библиотеки и "планы разработки" ) - тоже самостоятельно или не может или не хочет. И апофеоз - "а опишите мне тут на форуме, "что-то важное по теме", естественно желательно коротко и понятно.
    Занавес.
    Ответ написан
  • ИИ, Нейронные сети, ML – для школьника?

    @dmshar
    Начинать самообучение по Data Science (как впрочем и по любой другой серьезной теме) необходимо с того, что-бы научиться САМОСТОЯТЕЛЬНО(!!!!!) искать нужную информацию в интернет.
    Не пойму, неужели проще создавать новую тему, писать вопрос, ждать ответа, потом отбирать из них стоящие и отсеивать шлак, чем просто взять и просмотреть этот же форум хотя-бы за последний месяц и найти десяток готовых ответов.
    Ответ написан
  • Какие разделы математики нужны для машинного обучения?

    @dmshar
    Хочу немного уточнить.
    Вы пишете "Я знаю какие разделы математики нужны для ML." Это отлично, потому как большинство аналогичных вопросов, на этом сайте идут от людей, которые даже не дали себе труда поискать ответ самостоятельно в Google. Или хотя-бы на
    https://qna.habr.com И писать тут ответ в стодвадцатьвосьмой раз - утомительно. Вы дали себе такой труд , т.е. вы внимательно просмотрели список хотя-бы из десятка ответов на этот вопрос, проанализировали их, понимаете какие темы там открыты и для чего они нужны. Это здорово.
    Вот непонятен только ваш вопрос " стоит ли учить все? " . Почему прочитав эти источники вы пришли к выводу, что люди их писавшие, делали это с целью усложнить вам жизнь и накидать в свои ответы что-то, что вам не понадобиться.
    Теперь-же вы хотите, что-бы кто-то из этих ответов отобрал вам "минимум для этого". Т.е. - по сути дал еще один ответ на ваш вопрос, который должен сокращать то, что уже хорошо продумав написали другие?
    А давайте наоборот - вы задаете вопрос, а мы вам отвечаем, нужна-ли например линейная алгебра или статистика для вас. Это будет честно - вы покажете, что действительно понимаете о чем речь, мы вам объясним, в каком месте ML и для чего это применяется. А вы уж сами будете решать, на вашей конкретной работе, ту, которую вы уже нашли, будут встречаться эти задачи или нет. И не выгонят-ли вас за то, что кто-то насоветовал вам, что например, знание законов распределения вам не нужно. Мы ведь этого не знаем.
    Ну и кроме того, учтите, что каждый отвечающий смотрит на ваш вопрос с точки зрения собственного опыта. На сколько этот взгляд верен, т.е. на сколько можно верить советам, которые тут прозвучат - вопрос очень сложный. Если кто-то например, в свей практике обошелся без понимания того, что такое оптимизация, можно ли считать, что этот раздел не нужен?
    P.S. Ну и сильно смутило вот это "Математику не помню с времен учебы". - от студента 3-го курса специальности "информационные системы".
    Ответ написан
    1 комментарий
  • Имеют ли понятия остаточное и нулевое отклонение смысл при рассмотрении классификатора, отличного от линейной регрессии?

    @dmshar
    Выскажу свое мнение. Указанные показатели характеризуют не метод, а результат. Т.е все равно, каким методом вы строите свою модель, их назначение оценить насколько построенная модель "хороша".
    С другой стороны, данные метрики имеют семантический смысл в случае решения задач регрессионного типа. Для задач классификации - когда зависимый признак измерен в шкале более слабой, чем интервальная, - использование данных показателей смысла лишено . Там уже работают критерии на основе таблиц сопряженности Пирсона.
    Таким образом, мой ответ на ваш вопрос - если с помощью нейросети или случайного леса вы решаете задачу регрессии - а это вполне возможно - то использование указанных метрик допустимо. В противном случае - нет.
    Ответ написан
  • С чего начать изучать машинное обучение?

    @dmshar
    С чего начать изучать машинное обучение?

    С того, что-бы открыть Google и ввести " машинное обучение, с чего начать". На первой-же странице ответов находим:
    - ссылки на пол десятка статей-ответов на данный вопрос
    - несколько ссылок на списки литературы, видеокурсов, онлайн курсов и просто сайтов, содержащих подробнейшие аннотации всего. Берите и выбирайте то, что вам по вкусу, интересам, имеющейся математической базы.
    - ссылки на насколько научно-популярных порталов, посвященных машинному обучению.
    - и - вот неодижанность - ссылка на Википедию, в которой есть чудесный "вводный курс" по теме и десятки - если не сотни- ссылок для углубления понимания.
    Вообще информации столько, что впору задавать вопрос - что НЕ использовать, а не где найти информацию по МL.

    понимая, что php не совсем подходящий для этого язык, поэтому думаю сконцентрироваться на изучении node.js
    - ну, это тоже явно не то, что используется в области AI и ML. Но тут язык - это последний вопрос, какой надо решать. Потому как даже на PHP и JS уже есть библиотеки. Правда - не очень мощные, но это такое.

    Мне бы хотелось реализовать похожу модель на основе чисел и даты к которым они относятся. Т.е. всего два вида передаваемой информации - число и дата, но выборка достаточно большая.
    Эта задача из раздела статистики, который называется "анализ временнЫх рядов". Существует уже почти сто лет, и решается десятком разных методов. От линейной регрессии до LSTM-сетей. И начинать надо не с CatBoost или других новомодных инструментов, а с того, что-бы ознакомится с базой, набраться понимания того, как это все работает и главное - почему. А уж потом каким методом реализовывать ваш прогноз - определитесь играючи.

    На какую библиотеку обратить внимание?
    - Господи, да не на библиотеки надо внимание обращать, а на алгоритмы и методы. А библиотека - это только лишь технический инструмент их реализации. Начинать с библиотеки - это как врачу-хирургу начнать обучение с выбора модели скальпеля, которым он будет оперировать.

    Ну и на последок - вот вам пару ссылок, что-бы далеко не ходить - прямо на темы этого же сайта, где аналогичный вопрос задавался несчетное количество раз. Читайте, думайте.
    Путь data science. Как будет правильнее?
    С чего начать изучение искусственного интеллекта?
    Какие темы в математике необходимо знать, чтобы начать изучать машинное обучение?
    Какие есть книги по нейронным сетям и ИИ?
    Путь data science. Как будет правильнее?
    Ответ написан
    1 комментарий
  • Где у меня ошибка в обучения нейронной сети?

    @dmshar
    Ну как где? Вестимо в коде программы, которую мы не видим.
    P.S. Только пожалуйста, не надо сюда вываливать ваш код. А тем более - контрольные данные.
    Ответ написан
  • Нужно ли высшее образование для получения работы в data science или достаточно самообразования с помощью он-лайн курсов и книг?

    @dmshar
    Все зависит, от чего вы отталкиваетесь. Если есть хорошая (не средняя, а именно хорошая и грубокая) подготовка по вышке в хорощем техническом вузе, желательно на ИТ-специальности - тогда начать осваивать DS можно и самому. Вопрос - хватит-ли у вас времени и усердия. Потому как в отличии от изучения тех-же языков программирования тут за пару месяцев - точно не управитесь.
    Ответ написан
  • Какой метод машинного обучения стоит использовать?

    @dmshar
    1. Классификация. Возможно - тривиальная K-NN, возможно - SVM, возможно - деревья решений. При кажущейся простоте постановки выбирать конкретный метод не видя данных - все равно, что врачу ставить диагноз заочно.
    2. Если на выходе данные непрерывные - то регрессия. Многомерная - в вашем случае. Других вариантов нет.
    Ответ написан
    Комментировать
  • Обучение Data Science?

    @dmshar
    1. Сколько времени в день уделять линейной алгебре и как ее изучать самостоятельно?

    Не важно, сколько времени уделять, важно - понимать (не запоминать конкретные факты, а именно понимать "что и почему").
    Вот мнение (одно из многих) о том, что надо из математики:
    https://habr.com/ru/post/432670/

    Занимаюсь по Лутцу и решаю задачи на codewars и hackerrank. Достаточно ли этого?

    Более чем. Но на самом деле, для Data Science понадобятся ОСНОВЫ Python плюс соответствующие библиотеки, в первую очередь Numpy, Matplotlib, Scipy, Pandas. Первую надо понять(!) до перехода к практическим задачам, последние три, а также Scikit-Learn и Tensorflow можно разбирать параллельно с собственно Data Science (точнее с Мachine Learning, потому что, например Data Engineering - это вообще отдельная тема).
    Но! Надо понять, что Мachine Learning - это не программирование на Python (или любом другом языке программирования). Это отдельная наука. А все, что перечислено выше - только легкая "подводка" к теме.
    Ответ написан
    Комментировать
  • Какие есть книги по нейронным сетям и ИИ?

    @dmshar
    Вообще говоря - есть такой тест. Если человек задает вопрос, типа "что прочитать по искусственному интеллекту, программированию, математике (выбрать по вкусу)......." и не способен сам осуществить такой элементарнейший поиск не то что в Гуугл, а даже на этом самом форуме, где таких вопросов по три на неделю, то заниматься ИИ, нейросетями, машинным обучением и пр. ему явно рано. Ибо ничего, кроме феерической лени и инфантильной беспомощности в активе у него нет.
    Ответ написан
    Комментировать
  • Можно ли взять количеством в DeepLearning?

    @dmshar
    Вообще-то, мне по наивности казалось, что в DeepLearning нужно брать головой.
    Но, если знаете для чего вам аж шесть карт, умеете параллелить алгоритмы аналитически, программно и технически - то можете и количеством что-то достичь. Было бы понимание - чего именно. А люди и на одной такой карте чего-то добиваются, и даже без всяких видеокарт получают интересные результаты.
    Ответ написан
    3 комментария
  • Проверка точности классификации размеченных подмножеств различной длины (с пределом) на непрерывном двумерном ряду?

    @dmshar
    А точно поможет?
    Ну, ловите:
    https://towardsdatascience.com/implement-k-nearest...
    https://medium.com/@aditya_ch/introduction-to-clas...
    https://gigadom.in/2017/10/13/practical-machine-le...
    https://towardsdatascience.com/building-a-k-neares...
    https://towardsdatascience.com/decision-trees-and-...
    и т.д.
    А вообще-то берете любую книгу по Machine Learning, начиная с Ван дер Пласа или Рашки - и вперед, "примеров кода" хватит на несколько лет с головой.

    Что имеется ввиду под "непрерывным (?) двумерным рядом (??)" - остается загадкой.

    P.S. Кстати, c поиском аномалий во временных рядах уже разобрались? ;-)
    Ответ написан
  • Какие преимущества нейронной сети Хэмминга перед алгоритмом сравнения расстояния Хэмминга?

    @dmshar
    Вообще-то, согласно Википедии
    Нейронная сеть Хэмминга — вид нейронной сети, использующийся для классификации бинарных векторов, основным критерием в которой является расстояние Хэмминга.
    Так что, что с чем вы противопоставляете - не совсем понятно.
    Но вот волнует другое. Как мне кажется, понятие "наиболее похожее изображение" - весьма расплывчатое. Ну, например, предполагает-ли они похожесть картинок, изображение на которых разномасштабно? Или использует разные гаммы цветов? Или содержит графические искажения изображения? Или просто - пожожие это те изображения, на которых изображены (не важно как) предметы одного класса? И.т.д.
    И сдается мне, что Нейронная сеть Хэмминга с большинством из этих задач не справиться по определению.
    Ответ написан