• Как написать алгоритм вычисления почти линейного коэффициента поправки показаний сенсора?

    @dmshar
    Если я правильно понял.
    Есть два набора данных X(напряжение), Y( емкость). Понимаем, что Y замерена с некоторой ошибкой.
    Надо найти функцию F(X), такую, чтобы Ф(Ymoд-Y) -- по сути, ошибка между замеренным (Y) и рассчитанным (Yмод) значениями на заданных точках из Х -- была бы в некотором смысле оптимальна (например - минимальна).
    F()- в простейшем случае линейная функция, в более сложных случаях- не обязательно.
    Если это так то имеем классическую задачу построения регрессионной модели. Имея такую модель можно для произвольного х "предсказать" ожидаемое значение y.
    Если-же под Y понимать не сами значения(емкость), а поправки, которые вы вносите на заданных точках Х, то аналогичным образом построенная регрессионная модель будет "предсказывать" поправку, которую необходимо учитывать в произвольной точке x.
    Ответ написан
  • Прогнозирование отказа прибора?

    @dmshar
    Такие задачи сегодня действительно успешно решаются методами машинного обучения.
    То, о чем вы говорите - "дамп-файл" - это по сути временной ряд с записанными показателями вашего прибора (если я правильно понял). Плюс вы имеете информацию о том, когда в ходе ваших измерений прибор выходил из строя. Все это в совокупности составляет "обучающую выборку". Ваша задача найти такие паттерны в поведении системы, которые предвосхищают наступление сигнала поломки.
    Не знаю, чем вы конкретно занимаетесь, но я встречался с такими задачи в обнаружении отказов оборудования самолета, в обнаружении отказов в работе оборудования АЭС, в обнаружения начальной стадии заболевания, в задаче обнаружения вторжений в компьютерных сетях. Конечно, без грамотной поддержки специалиста в предметной области задачу не решить (или очень сложно решить). Его задача - объяснить в первом приближении, какие параметры могут влиять на появление аварийного сигнала, ваша первоначальная задача - проверить его "показания", скорее всего согласиться с ним, а может и скорректировать этот список (бывает и так).
    После этого ваша задача построить классификатор. Классификатор - это такой алгоритм, заданный либо функционально, либо логически, либо программно, который на вход будет принимать ваши будущие дамп-файлы, а на выходе давать прогноз (ставить диагноз) о приближении события , а по сути - относить эти данные к одному из классов, в простейшем случае - к классам "норма" или "предаварийное состояние".
    В машинном обучении такой подход носит название "обучение с учителем" т.е. в начале вы обучаете (строите) алгоритм классификации, а потом используете его для предсказания. Методов построения классификаторов - достаточно много, от тривиального кNN до методов на основе различных нейросетей, от методов анализа временных рядов до систем на основе нечетких вычислений. И заочно вам сказать, какой именно из этого множества алгоритмов целесообразнее применить именно для вашей задачи -невозможно. Тут уж вам потребуется либо самим разбираться с ними (генеральное направление я указал), либо нанимать специалиста по ML.
    Прочитать об этом можно где угодно - от научно-популярных статей типа
    https://habr.com/ru/post/460467/
    https://towardsdatascience.com/how-to-implement-ma...
    https://www.kdnuggets.com/2017/04/datarpm-predicti...
    до более серьезных работ (тут их приводить нет смысла, если дойдете до уровня когда они вам потребуются - думаю сами их найдете для своей предметной области. Если нет - напишите, чем смогу- помогу).
    В любом случае, поставленная вами задача - не легкая, но интересная. Быстро и с наскока ничего вразумительного вы не получите, но если найдете в себе силы и интерес углубиться - результаты могут быть глубокими и значимыми.
    Удачи!.
    Ответ написан
    2 комментария
  • Приложение для андроид распознавание лиц, с чего начать?

    @dmshar
    А программировать-то вы умеете? Тем более для Андроид? А что такое "распознавание образов" знаете? Если нет , то совет первый - начните с этого.
    "Какие сложности могут возникнуть" - самая главная сложность - это некомпетенция участника проекта. Для проверки того, достаточна-ли ваша компетенция попробуйте дать ответ на вопрос - а для чего при примерке парика или очков использовать распрознавание лиц?
    Ответ написан
    1 комментарий
  • Ликбез в Data science?

    @dmshar
    Под вашим (как и любым другим вопросом на этом сайте) есть специальная секция "ПОХОЖИЕ ВОПРОСЫ". Вот внимательно их штудируете на глубину примерно три-четыре года - это и будет вам лучший ликбез. И другим повторять по тридцатому разу одно и то-же не придется. А ответы на все ваши вопросы там точно есть.
    Ответ написан
    Комментировать
  • С чего начать изучение анализа данных python?

    @dmshar
    Давайте с конца в начало.
    "Если самостоятельно, то с чего начать изучение?" - тут все понятно и однозначно. Если хотите учиться самостоятельно, то начинать надо, естественно с обучения самостоятельному поиску нужной информации в сети. Хотя-бы с помощью Гуугла. А затем - самостоятельному принятию решений.

    "стоит ли тратить такие большие деньги, или же лучше начать изучение самостоятельно" - вообще-то что бы стать специалистом, надо потратить очень много времени. Правило 1000 часов никто не отменял. Особенно в таком "мозгоёмком" направлении как Data Science. Вон люди ведут дискуссии на тему - необходим-ли уровень phD, что-бы считать себя специалистом по анализу данных, или достаточно магистерского уровня по профильной специальности. Поэтому обязательно включите в список рассматриваемых альтернатив "получение высшего образования". И возможно это должен быть первым вариантом. А уж если по каким-то причинам не получиться - то переходить к следующим.

    "цены начинаются от 60 тысяч рублей." - вообще-то весьма гуманно. Вы же, когда станите специалистом, за бесплатно работать не захотите. Вот и люди тоже хотят. Тут надо смотреть не на ценник, а на то, кто и что вам будет рассказывать. Если вчерашний студент или человкек без опыта (кстати, как профессионального, так и методического) - то я бы не платил. А если это люди с известными именами, известные лекторы, известные разработчики (действительно известные и авторитетные, а не те, кто себя такими считает) - то цена за возможность лично задать вопрос, лично у него чему-нибудь научиться - весьма адекватна. Так что тут надо смотреть внимательно.

    Ну и еще одно - хотите специализироваться в Аналитике данных (и в программировании, кстати, тоже) - не забудьте об английском.
    Ответ написан
    Комментировать
  • Почему не рисуется гистограмма?

    @dmshar
    Не знаю, вы же нам ничего не рассказали ни о себе, ни о IDE, которую используете, ни о версии Python, ни об ошибках/сообщениях, которые получаете. Может у вас seaborn не установлен, магическая команда %matplotlib не верно задана или вы вообще в консоле работаете.
    А ваш график - на рисунке (прямо скопировал ваш скрипт себе в редактор и запустил) 5e3fc88668671088080323.png
    Ответ написан
    7 комментариев
  • Как правильно спроектировать приложение по распознаванию лиц?

    @dmshar
    Мне очень понравился вопрос.
    Ну действительно. Человек только-только (месяц) как начал разбираться в машинном обучении (у других что-бы понять что к чему годы уходят) и хочет сразу же создать весьма нетривиальное приложение, потому что "проще учиться разбирая что-то сложное" (теоретически верно, при условии, что есть необходимая база знаний, упорство и умение самостоятельно учиться) . При этом - в общем-то не хочет разбираться что и как работает, но и взять готовую библиотеку и разобраться хотя-бы в ней - ни-ни, "что бы лучше самой понять". Весьма похвально, правда не совсем ясно, как это сделать без глубокого понимания предмета, то то такое.
    Однако при этом найти в интернете описания решения своей и подобной ей задачи (коих - описаний - в интернете пруд пруди, включая и библиотеки и "планы разработки" ) - тоже самостоятельно или не может или не хочет. И апофеоз - "а опишите мне тут на форуме, "что-то важное по теме", естественно желательно коротко и понятно.
    Занавес.
    Ответ написан
  • Как разделить список чисел на группы по заданному расстоянию между числами в группе?

    @dmshar
    Никакой "математики" тут нет. Впрочем, как и кластерного анализа. Все тривиально просто. Если все именно так, как вы описали, то вы собственно уже сами и описали ваш алгоритм. Правда опустив первый его шаг - предварительную сортировку.
    Итак:
    1. Сортируем имеющиеся данные.
    2. Начинаем просмотр (не важно с какого -верхнего или нижнего) крайнего члена последовательности и сравниваем следующий элемент последовательности с границей вашего интервала (кстати - в вопросе, наверное, ошибка, и Х у вас не 5, а 0.05). Соответственно, включаем его в первую группу, или "закрываем" первую группу и переходим к формированию второй. Повторяем это действие циклически перебирая последовательно все элементы нашего отсортированного набора.

    Если попытаться обойтись без предварительной сортировки - что в принципе тоже не очень сложно - то надо аккуратно посмотреть, не увеличится-ли при этом вычислительная сложность (на вскидку я в этом не уверен).
    Ответ написан
    3 комментария
  • ИИ, Нейронные сети, ML – для школьника?

    @dmshar
    Начинать самообучение по Data Science (как впрочем и по любой другой серьезной теме) необходимо с того, что-бы научиться САМОСТОЯТЕЛЬНО(!!!!!) искать нужную информацию в интернет.
    Не пойму, неужели проще создавать новую тему, писать вопрос, ждать ответа, потом отбирать из них стоящие и отсеивать шлак, чем просто взять и просмотреть этот же форум хотя-бы за последний месяц и найти десяток готовых ответов.
    Ответ написан
  • Автоматизация подбора тегов к статье, как?

    @dmshar
    Существуют.
    Кажется первопроходцем был Reuters. Решение основано на использовании методов машинного обучения. Сначала на соответствующем наборе размеченных статей строиться некоторый классификатор. Затем он используется для отнесения новых статей к той или иной рубрике или рубрикам, что в точности соответствует задаче тегирования.
    Ну вот, на вскидку, просто как пример:
    https://towardsdatascience.com/applying-machine-le...
    Elaslic тут очень далеко - только как хранилище информации.
    Кстати, Reuters хвастался что он на внедрении этого метода экономит миллионы, в основном на зарплате разогнанного отдела почти на сотню сотрудников, которые ранее там тегировали новости вручную.
    Ответ написан
    Комментировать
  • Какие разделы математики нужны для машинного обучения?

    @dmshar
    Хочу немного уточнить.
    Вы пишете "Я знаю какие разделы математики нужны для ML." Это отлично, потому как большинство аналогичных вопросов, на этом сайте идут от людей, которые даже не дали себе труда поискать ответ самостоятельно в Google. Или хотя-бы на
    https://qna.habr.com И писать тут ответ в стодвадцатьвосьмой раз - утомительно. Вы дали себе такой труд , т.е. вы внимательно просмотрели список хотя-бы из десятка ответов на этот вопрос, проанализировали их, понимаете какие темы там открыты и для чего они нужны. Это здорово.
    Вот непонятен только ваш вопрос " стоит ли учить все? " . Почему прочитав эти источники вы пришли к выводу, что люди их писавшие, делали это с целью усложнить вам жизнь и накидать в свои ответы что-то, что вам не понадобиться.
    Теперь-же вы хотите, что-бы кто-то из этих ответов отобрал вам "минимум для этого". Т.е. - по сути дал еще один ответ на ваш вопрос, который должен сокращать то, что уже хорошо продумав написали другие?
    А давайте наоборот - вы задаете вопрос, а мы вам отвечаем, нужна-ли например линейная алгебра или статистика для вас. Это будет честно - вы покажете, что действительно понимаете о чем речь, мы вам объясним, в каком месте ML и для чего это применяется. А вы уж сами будете решать, на вашей конкретной работе, ту, которую вы уже нашли, будут встречаться эти задачи или нет. И не выгонят-ли вас за то, что кто-то насоветовал вам, что например, знание законов распределения вам не нужно. Мы ведь этого не знаем.
    Ну и кроме того, учтите, что каждый отвечающий смотрит на ваш вопрос с точки зрения собственного опыта. На сколько этот взгляд верен, т.е. на сколько можно верить советам, которые тут прозвучат - вопрос очень сложный. Если кто-то например, в свей практике обошелся без понимания того, что такое оптимизация, можно ли считать, что этот раздел не нужен?
    P.S. Ну и сильно смутило вот это "Математику не помню с времен учебы". - от студента 3-го курса специальности "информационные системы".
    Ответ написан
    1 комментарий
  • Как лучше защищать запросы?

    @dmshar
    Правильно.
    Ответ написан
    Комментировать
  • Как называется договор?

    @dmshar
    "документа, в котором якобы власть от государств переходит к IT корпорациям"
    Господи помилуй......
    1. "Вла́сть — это возможность навязать свою волю другим людям, даже вопреки их сопротивлению". Как можно "возможность" передать "договором"? Тем более "возможность" осуществляемую помимо воли?
    2. В каком виде и каким способом получившие власть IT-корпорации будут ее применять? Ну например - осуществлять функции социальной защиты населения или обеспечения населения или культурно-воспитательную функцию?
    3. Договор обычно имеет так называемые "стороны договора". Которые этот договор подписывают. Как вы думаете, кто может быть стороной такого договора с одной и с другой стороны.
    4. "IT-корпорациям" - это как-то круто звучит. Каким именно? Первым десяти из
    индекса Dow-Jones? Американским или японским? А что про это думают корейцы и прочие китайцы? Они все получат власть, или через одного? И от какого государства получать власть будут мультинациональные корпорации?
    5. Как вообще можно себе представить государство, которое добровольно передает власть?
    6. Почему именно "IT-корпорациям"? Почему не Электрогенерирующим компаниям например? Уж если они захотят - то отключив от света могут ввергнуть мир в полный коллапс. IT-корпорации на это не способны. А еще круче - Аграрным. Если перестать кормить народ (совсем-совсем) - то через пару недель, максимум месяцев подпишут все что угодно. Впрочем, в современном мире достаточно даже отказаться мусор вывозить в глобальных масштабах, чтобы коллапс настал очень быстро. Так что думаю, получившим власть IT-корпорациям ой как не просто будет договориться с обиженным безвластием ассенизаторами.
    7. Причем тут "BLOCKCHAIN" (Блокче́йн — выстроенная по определённым правилам непрерывная последовательная цепочка блоков (связный список), содержащих информацию.

    В общем "на T начинается" приходит на ум только одно "Тарабарщина".
    Все-таки перед тем, как задавать вопрос неплохо сначала самому немного подумать над его ответом. И да, меньше смотреть фантастически-бредовых фильмов-сказок для младших школьников.
    Ответ написан
    Комментировать
  • Нейросети для анализа логов?

    @dmshar
    Как вам уже ответили , "любой" - нельзя. Отдельных видов - вполне можно. И, ксати, не только логи при этом анализируются. Только вот в одном посте на форуме об этом не расскажешь.
    Тут как минимум пересекаются две области знаний - машинное обучение (и нейросети, как один из инструментов, применяемых в ней) и кибербезопасность. Что бы разобраться и в том и в другом надо потратить не одну сотню (!) часов.
    Есть уйма литературы на эту тему, поэтому почему вам удалось найти только " несколько коротких статей и видео" абсолютно непонятно.
    Начните, например, вот с этих статей:
    D. Berman, A Survey of Deep Learning Methods for Cyber Security
    V. Rao Vemuri. Machine learning in computer security
    Monowar H. Bhuyan,. Network Anomaly Detection: Methods, Systems and Tools

    А делее можно переходить и до более серьезным источникам:
    1. Leigh Metcalf, William Casey. Cybersecurity and Applied Mathematics
    2. Iván Carrascosa et.al. Data Analytics and Decision Support for Cybersecurity Trends,
    Methodologies and Applications.
    3. Big Data Analytics in Cybersecurity. Edited by Onur Savas and Julia Deng
    4. Brij B. Gupta. Machine Learning for Computer and Cyber Security Principles, Algorithms, and Practices
    5. Nour Moustafa, Designing an online and reliable statistical anomaly detection framework for dealing with large high-speed network traffic
    6. Joshua Saxe, MALWARE DATA SCIENCE Attack Detection and Attribution
    ........... и т.д. - в общем источников масса.
    И все легко ищется в сети. Удачи
    Ответ написан
    Комментировать
  • Имеют ли понятия остаточное и нулевое отклонение смысл при рассмотрении классификатора, отличного от линейной регрессии?

    @dmshar
    Выскажу свое мнение. Указанные показатели характеризуют не метод, а результат. Т.е все равно, каким методом вы строите свою модель, их назначение оценить насколько построенная модель "хороша".
    С другой стороны, данные метрики имеют семантический смысл в случае решения задач регрессионного типа. Для задач классификации - когда зависимый признак измерен в шкале более слабой, чем интервальная, - использование данных показателей смысла лишено . Там уже работают критерии на основе таблиц сопряженности Пирсона.
    Таким образом, мой ответ на ваш вопрос - если с помощью нейросети или случайного леса вы решаете задачу регрессии - а это вполне возможно - то использование указанных метрик допустимо. В противном случае - нет.
    Ответ написан
  • Какой из двух языков лучше выбрать для приложения типа помощник: Python или C++?

    @dmshar
    Я знаю язык программирования Python и основы C++ (а ещё знаю базы данных MySQL).
    - неправда, не знаете. Максимум - прочитали пол книжки и написали пол десятка учебных программулек. Если бы действительно знали - вопросов "что лучше" не задавали-бы.
    Ответ написан
  • С чего начать изучать машинное обучение?

    @dmshar
    С чего начать изучать машинное обучение?

    С того, что-бы открыть Google и ввести " машинное обучение, с чего начать". На первой-же странице ответов находим:
    - ссылки на пол десятка статей-ответов на данный вопрос
    - несколько ссылок на списки литературы, видеокурсов, онлайн курсов и просто сайтов, содержащих подробнейшие аннотации всего. Берите и выбирайте то, что вам по вкусу, интересам, имеющейся математической базы.
    - ссылки на насколько научно-популярных порталов, посвященных машинному обучению.
    - и - вот неодижанность - ссылка на Википедию, в которой есть чудесный "вводный курс" по теме и десятки - если не сотни- ссылок для углубления понимания.
    Вообще информации столько, что впору задавать вопрос - что НЕ использовать, а не где найти информацию по МL.

    понимая, что php не совсем подходящий для этого язык, поэтому думаю сконцентрироваться на изучении node.js
    - ну, это тоже явно не то, что используется в области AI и ML. Но тут язык - это последний вопрос, какой надо решать. Потому как даже на PHP и JS уже есть библиотеки. Правда - не очень мощные, но это такое.

    Мне бы хотелось реализовать похожу модель на основе чисел и даты к которым они относятся. Т.е. всего два вида передаваемой информации - число и дата, но выборка достаточно большая.
    Эта задача из раздела статистики, который называется "анализ временнЫх рядов". Существует уже почти сто лет, и решается десятком разных методов. От линейной регрессии до LSTM-сетей. И начинать надо не с CatBoost или других новомодных инструментов, а с того, что-бы ознакомится с базой, набраться понимания того, как это все работает и главное - почему. А уж потом каким методом реализовывать ваш прогноз - определитесь играючи.

    На какую библиотеку обратить внимание?
    - Господи, да не на библиотеки надо внимание обращать, а на алгоритмы и методы. А библиотека - это только лишь технический инструмент их реализации. Начинать с библиотеки - это как врачу-хирургу начнать обучение с выбора модели скальпеля, которым он будет оперировать.

    Ну и на последок - вот вам пару ссылок, что-бы далеко не ходить - прямо на темы этого же сайта, где аналогичный вопрос задавался несчетное количество раз. Читайте, думайте.
    Путь data science. Как будет правильнее?
    С чего начать изучение искусственного интеллекта?
    Какие темы в математике необходимо знать, чтобы начать изучать машинное обучение?
    Какие есть книги по нейронным сетям и ИИ?
    Путь data science. Как будет правильнее?
    Ответ написан
    1 комментарий
  • Распознавание образов с окна игры?

    @dmshar
    1. Если современные средства ИИ позволяют не то что монстров отслеживать, а куриц, перебегающих дорогу перед автомобилем объезжать, то ответ на вопрос "можно или нет отслеживать и манипулировать мышкой" - понятен и однозначен. Можно.
    2. Возможно реализовать на чем угодно, и на С# и на Python, и на Java и на GO и на Julia.

    Вот только рассчитывать на то, что вы это сделаете дома на коленке - что на Python, что на С - явно не стоит.
    Ответ написан
  • Где у меня ошибка в обучения нейронной сети?

    @dmshar
    Ну как где? Вестимо в коде программы, которую мы не видим.
    P.S. Только пожалуйста, не надо сюда вываливать ваш код. А тем более - контрольные данные.
    Ответ написан
  • Как подать данные в нейронку?

    @dmshar
    Что вы не можете понять - как из списка в девять элементов сделать два списка по шесть и три?
    X_input = X[0:6]
    X_output = X[6:]
    Ответ написан
    Комментировать