• Техники и методы анализа преобразованных данных?

    @dmshar
    Выбор метода анализа данных зависит от целей, которые ставит перед собой исследователь - в первую очередь.
    На столь общий вопрос - "максимально, и в полном объеме распознать скрытые закономерности и зависимости в табличных данных" - можно дать только общий ответ - любыми методами регрессионного, классификационного, кластерного, факторного анализа.
    "Готовые тесты" - наверное имеется ввиду "библиотеки для анализа данных". При ваших небольших объемах данных - также могут подойти любые. От EXCEL или SPSS scikit-learn, до scikit-learn или любых библиотек на основе искусственных нейронных сетей.
    В общем - хотите конкретных ответов - детализируйте вопрос.
    Ответ написан
    6 комментариев
  • Как выбрать ML фреймворк для прода?

    @dmshar
    Ух какой общеабстрактный вопрос. И странно, что после "достаточно долгого углубления" так и не решить, на чем лучше обучать сеть на 20 нейронов.
    Сравнение различных фреймворков (языков программирования, операционных систем, систем управления базами данных и пр....) - сродни религиозным войнам: есть адепты каждой из религий, которые по-сути только ее и знают. Есть те кто свято верит в то, что написано во всяких катехизисах, обзорах, сравнениях. Есть свои последователи, проповедники, энтузиасты, отступники. Есть тихие верующие и разработчики, спокойно пишущие на том, что им велели свыше. Только вот правых и неправых в таких войнах нет. Ибо нет "лучшего фреймоврка" и поиск его - бессмысленен. А опыт одних в условиях работы других может оказаться мягко говоря - неприменим.
    Ну, если очень надо - можно легко найти сравнения разных инструментов, например
    https://www.netguru.co/blog/deep-learning-framewor...
    https://medium.com/the-mission/8-best-deep-learnin...
    https://www.datanyze.com/market-share/machine-lear...
    Только вот слава Богу инженерия - не религия. Тут за то, что ты меняешь один инструмент на другой - на костре не жгут. Можно потратить уйму энергии, выбирая "лучший фреймоворк" и все равно где-то не угадать. А можно начать делать свой проект на том, что знаешь, понимаешь, владеешь. Гордится тем, что ты научился молотком гвозди забивать и не отбивать себе при этом пальцы, а не тем, что держишь в руке что молоток фирмы Steanly, а не молоток фирмы Тоptul. А потом уже конкретно выяснять, в чем-же твой инструмент оказался слаб именно для твоей задачи, и уже целенаправленно, а не абстрактно искать лучший по конкретному показателю.
    Ответ написан
    Комментировать
  • Анализ крови с использованием нейронных сетей?

    @dmshar
    Для того, что-бы распознать лишь "норма, средний воспалительный процесс, высокий воспалительный процесс" - как вам уже тут верно заметили- не то что нейронные сети - вообще никакого ML не надо, достаточно трех-четырех правил, который любой студент-медик должен знать наизусть примерно на втором курсе.
    В реальной жизни задачи медицинской диагностики методами машинного обучения возникают тогда, когда традиционными, медицинскими методами задача решается крайне сложно и/или неточно. Ну например - по результатам лабораторных анализов выявляют те или иные виды онкозаболеваний, по результатам мониторинга - предсказывают риск возникновения инфарктов/инсультов в ближайшем будущем. По результатам анализа генетического материала - предрасположенность (риск) заболеваемости определенными видами болезней или реакции не определенные медикаменты, по информации о состоянии организма и региона проживания - вероятность подхватить определенные инфекции и соответственно - необходимость профилактического лечения и т.д. Про диагностирование по анализу рентгеновский снимков, УЗИ и пр - я тут не говорю, хотя вот там действительно огромный простор для применения нейросетей.
    И по анализу крови - задачи, которые реально решаются - посложнее, чем "есть-нет воспаление". Ну, например - определение возраста человека:
    https://habr.com/company/spbifmo/blog/350624/
    или распознавание диабета и его разновидностей:
    https://datascienceplus.com/machine-learning-for-d...
    Только вот надеяться, что даже простейшую задачу такого класса можно решить не имея в команде специалистов с медицинским образованием - крайне самонадеяно.
    Ответ написан
    Комментировать
  • Какие методы машинного обучения применить?

    @dmshar
    Ту задачу, которую вы пытаетесь решить, можно отнести к классу задач пространственно-временной (гео)статистики, в частности - пространственно-временной интерполяции. Что-то есть на русском, гораздо больше информации на английском. Гуглите по словосочетанию "spatio-temporal interpolation".
    Для R можно начать, например, вот отсюда
    r-video-tutorial.blogspot.com/2015/08/spatio-tempo...
    Задача, сразу предупреждаю, не из простых.
    Ответ написан
    Комментировать
  • Какие виды анализа аналоговых рядов бывают?

    @dmshar
    Уже даже не смешно.
    В предыдущем вашем вопросе уже сказали, что эти данные называются "временнЫе ряды". По английски - Time Series. По немецки - Zeitreihe. По украински - "часові ряди". По польски - Szereg czasowy. По французски - série temporelle.
    Вам даже дали кучу ссылок, на сайты и книги, где тема раскрывается с разных сторон. Теперь вы хотите это назвать "аналоговыми рядами"??? Ну называйте, если вам этот термин нравиться больше. Только объясните, чем вам не угодил тот термин, которым уже лет 150 пользуется все (статистически) образованное человечество.
    Ответ написан
  • Как прогнозировать многомерные временные ряды в Keras?

    @dmshar
    Ну, не совсем "везде".
    Вот например - https://www.analyticsvidhya.com/blog/2018/09/multi...
    А вот - с помощью Keras
    https://machinelearningmastery.com/multivariate-ti...
    Ответ написан
    Комментировать
  • Какие эффективные методы для обработки больших массивов данных?

    @dmshar
    1. 500 тыс. чего? Записей? Какой объем записи? Но вообще-то говоря, данные такого объема "большими" считать не приходится - это вполне умеренные объемы для практически любых современных задач и соответственно - современных инструментов работы с данными.
    2. Данные указанного типа - относятся к т.н. временнЫм рядам. Классика жанра, если временнЫе метки задают равные интервалы, но и в противном случае - можно работать с такими данными относительно легко - главное, понимать, что же с этой информацией вы хотите сделать.
    3. Форма визуализации времаннЫх рядов - различного рода графики. Ось Х - время, ось Y - значения ряда. Впрочем, могут быть и другие представления, в зависимости от цели такой визуализации.
    4. С такими данными обычно решают два класса задач. Либо по набору значений ряда в прошлом выполняют предсказание значений, которые ряд будет принимать в будущие моменты времени. Либо обнаружение в прошлых значениях ряда некоторых аномалий. Тут может быть два варианта - либо выявление выбросов, т.е. единичных точек, чье поведение противоречит модели поведения ряда, либо выявление момента смены собственно самой модели поведения ряда.
    5. Да, "специалисты по статистике" тут - наверное, к вашему удивлению - тут есть.
    6. "не могу сформулировать задачу, т.к. не владею предметной областью статистики -- а вы сформулируйте свою задачу в своей предметной области, а специалисты по статистике вам потом помогут.
    Ответ написан
    8 комментариев
  • Как сделать бинарную классификацию текстов на python?

    @dmshar
    Вообще-тот материалов в сети не просто много, а необозримо много. На любой цвет и вкус, с учетом любого инструмента, которым вы владеете. Практически любая книга по машинному обучения или по Нейросетям сегодня обязательно содержит раздел, посвященную работу с текстами и классификация - самая простая задача, которая при 'том обсуждается.
    Вот тут почти элементарное введение в тему, что как и почему делать:
    https://tproger.ru/translations/text-classificatio...
    Вот тут разбивают на 20 тем, но вы можете и сократить до нужных вам двух:
    scikit-learn.org/stable/tutorial/text_analytics/wo...
    Вот тут описана "Готовое решение" с помощью другой библиотеки
    www.nltk.org
    Но главная проблема не в источниках. Главный вопрос - у вас есть достаточно объемный и при этом размеченный набор данных для обучения любого алгоритма? Если есть - можно и источники поизучать, а если нет - то подумайте, как найти такой набор.
    Ответ написан
    Комментировать
  • Как правильно спроектировать нейронную сеть?

    @dmshar
    Я так и не понял, в чем-же вопрос.
    Если "как это сделать" - при том, что "это" - практически весь курс по ML и
    DL - то искать ответ на форуме при наличии просто океана ресурсов в сети - как то странновато.
    Если как это сделать на С++" - то тоже вроде недостатка информации нет.
    Книги, туторы, статьи, видео, всё что может быть полезно готов изучить вдоль и поперёк, только скажите где(много информации уже перерыл)

    Что, действительно? Как это вам удалось - ничего не найти.
    Ну так, для затравки, может поможет:

    https://www.amazon.com/C-Machine-Learning/dp/1786468409
    https://www.oreilly.com/library/view/machine-learn..."
    "https://www.amazon.com/Deep-Belief-Nets-CUDA-Feedf..."
    https://www.amazon.com/Data-Mining-Algorithms-Patt..."
    https://habr.com/post/335838/
    www.mlpack.org
    Ответ написан
    Комментировать
  • Как запустить pretrained model?

    @dmshar
    Попробуйте просто убрать этот оператор.
    Ответ написан
  • На чём построить график timeline?

    @dmshar
    По описанию, которое вы дали - карандаш и бумага.
    Ну действительно, как можно рекомендовать инструмент, если нам не известно ничего - послупают-ли данные разово, либо вы мониторите свои устройства динамически, ваше приложение desk-top или данные формируются на сервере (400 машин как никак), а просматриваются на клиенте, или через веб? Надо-ли отображение в виде графика (чего именно) или достатично "лампочки" - запущен процесс на машине или нет. Надо-ли имя процесса отображать? Может-ли на одной машине быть одновременно запущенно более одного процесса? Каким образом (протоколом) данные передаются от устройства мониторинга к приложению, отображающему график? И т.д. Дайте ПОЛНОЕ описание задания, тогда и ответы будут осознаны. А так - ну скажут вам - например - grafana. Или Matplotlib. Или D3.js. Или Dygraphs. Или Tableau. А может вообще вам MS Visio подойдет? Что вы с такими ответами делать-то будете?
    Ответ написан
  • Как защитить идею?

    @dmshar
    Особо позабавило вот это:
    Как защитить идею.... от того что в будущем (когда я буду заниматься её разработкой) она не пришла в голову кому-то другому. Бывает мысли у людей сходятся.

    Если у вас такое понимание прогресса, то возникают серьезные сомнения в пользе идеи, которая вам пришла в голову.
    Вы никогда не думали, что практически все действительно стоящие идеи - и даже великие идеи - одновременно приходили в голову нескольким людям?
    Дифференциальное и интегральное исчисления - Ньютону и Лейбницу.
    Теория Дарвина - ему и Альфреду Расселу Уоллесу.
    Логарифмы открыли независимо Непер и Бюрги.
    Закон Бойля — Мариотта - потому так и назван, что двое сделали это открытие почти одновременно и независимо друг от друга.
    Пятна на солнца вообще одновременно, в 1611 году открыли четыре (!!!) разных ученых.
    А Шарль Кро - изобретал патефон на пару месяцев раньше Эдисона, и цветную фотографию - с разницей в пол года с Дюко дю Ороном. (Во не повезло парню).
    В сегодняшнем мире - персональные компьютеры - посмотрите, кто когда и как начал их выпускать.
    Поисковые системы и социальные сети - вспомните их историю.
    Так что можете не обольщаться - если ваша идея не пришла в голову кому-нибудь другому, то будьте уверены - она не нужна никому.
    Но скажу один страшный секрет. Если даже к вам вот сейчас в голову пришла супер-пупер гениальная идея, которая принесет вам миллионы и всемирную известность, и вы сейчас вот размышляете, как добиться собственной монополии на нее - будьте уверены, что где-то в Америке, Японии, Китае или а Попуа-Новой Гвинее вот прямо сейчас кто-то другой уже начал ее реализовывать. И пока вы находитесь в размышлениях - он станет изобретателем и все лавры и миллионы достанутся ему.
    У первого - есть фора, но в сегодняшнем мире у него нет монополии.
    И помните - Стив Джобс, Цукерберг не были ни богатым, ни первыми. Но они шли к цели, а не думали, как себя от кого-то защищать.
    Поэтому совет - не майтесь дурью, а займитесь реализацией своей идеи. Нет денег - ищите инвестора. Да-да, делитесь с ним. Он даст вам то, что у вас нет, и за это вы с ним поделитесь и славой и деньгами. И нет в этом ничего зазорного или унизительного. Используйте свою фору, если она у вас есть, конечно.
    Ответ написан
    3 комментария
  • Где найти информацию по разработке автономных дронов/квадрокоптеров?

    @dmshar
    Не очень понял, что вы имели ввиду, когда говорили про "разработку". Понятно, что технической информации, особенно в открытом доступе, вы вряд ли найдете. А вот для общего развития - пожалуйте:
    ai-news.ru/bpla.html
    Ответ написан
  • С ростом биткоина растут выплаты в майнинге?

    @dmshar
    Ну что, прошел почти год. Пора подводить итоги "выгодного бизнеса".
    Имеем:bitstat.top/coin_chart.php?t=year&id_coin=1
    Цена 1 биткоина на 26 ноября 2017 года (дата создания вопроса) - $9110 или 533295 рублей.
    Цена 1 биткоина на 20 сентября 2018 года (на сегодня) - $6430 или 430917 рублей.
    Так кто больше выиграл - тот кто купил биткоин или тот, кто купил майнер? :-)
    Или все-таки тот, кто вложился в себя?
    Ответ написан
    Комментировать
  • Есть ли в R пакеты, содержащие следующие алгоритмы?

    @dmshar
    Все находится в один клик.
    Ну например.
    Алгоритм светлячков:
    https://cran.r-project.org/web/packages/metaheuris...
    Алгоритм пчелиного роя:
    https://cran.r-project.org/web/packages/ABCoptim/A...
    Алгоритм муравьиной колонии - даже несколько реализаций:
    https://cran.r-project.org/web/packages/evoper/evo...
    https://cran.r-project.org/web/packages/irace/irace.pdf
    Дальше - не интересно. Надеюсь, справитесь самостоятельно.
    Ответ написан
    1 комментарий
  • Как максимально быстро получить базовые знания в части мат.анализа, работы с данными, построения моделей?

    @dmshar
    Господи, по три вопроса на день, и все - как под копирку: "Что почитать по Data Science", "Как максимально быстро освоить Data Science", "Что надо знать, что-бы стать специалистом в DS" и пр.
    Мой первый ответ - ну хотя-бы научиться самостоятельно, хотя-бы на том-же ресурсе, где решили вопрос задать поискать, что-же уже отвечали на ВАШ вопрос раньше. Вы же с данными, с информацией хотите работать. Ну так учитесь в первую очередь информацию искать!
    А второй мой ответ - вот ссылка прямо "из-под" вашего вопроса:
    Очередной вопрос по ИИ и математике: какие темы надо знать?
    Большой алгоритм изучения ИИ?
    Очередной вопрос о том как начать в машинное обучение. Как начать, чтобы понять интересно ли мне этим заниматься или нет?
    С чего начать изучение искусственного интеллекта?
    А вот ответ - прямо из сегодняшней темы
    Какие книги для начинающего по Data Science?
    А вообще - в сети книг, сайтов, курсов и пр - навалом. На любой вкус, начальный уровень и степень обучаемости. Выбирайте на свой вкус - и вперед.
    Удачи.
    Ответ написан
    Комментировать
  • Какие книги для начинающего по Data Science?

    @dmshar
    Вопрос несколько странный ввиду реально НЕСМЕТНОГО количества книг по DS,
    BD, ML вышедших в последнее время. На любых языках, для любого стартового уровня образования, с прицелом на различные инструменты. Берите любую и начинайте учить. Когда что-то станет ясно и захочется углубить или наоборот, когда что-то станет непонятно - ищете целенаправлено другой источник, в котором уже известная вам тема изложена глубже или яснее. И так двигаетесь, расширя свой кругозор в тема.
    Если сложно самомунайти - есть уже составленные списки, например:
    https://ru.stackoverflow.com/questions/Книги-и-уче...
    Или
    https://www.learndatasci.com/free-data-science-books/
    И подсказок в сети тысячи - как, что и в каком порядке учить. Например:
    https://proglib.io/p/learn-data/
    Вот куча дополнительных ресурсов.
    www.7wdata.be
    https://www.datasciencecentral.com
    https://datascienceplus.com
    https://www.kdnuggets.com
    https://www.analyticsvidhya.com
    https://towardsdatascience.com
    Удачи.
    P.S. " стоит выбор между К.Доугерти "Введение в эконометрику" и Гмурман "Теория вероятностей и математическая статистика" - может ктото может подсказать принципиальную разницу между этими книгами?"
    ----> Принципиальная разница: Гмурман дает общую теорию, хорошую основу, универсальный учебник.
    Доугерти больше ориентирован на специализированную нишу экономических и социальных задач.
    Оба неплохи для изучения статистики на соответствующих специальностях в универе.
    Начинать с нихсамостоятельное изучение я бы не рекомендовал. Лучше гляньте список и рекомендации, приведенные выше и из них выбирайте.
    Ответ написан
    Комментировать
  • Как создать Обучаемый бот на основе ML?

    @dmshar
    "я вот новичок в машинном обучении" + "но есть хорошая идея, как можно обучать бота" ---> Вы уверены, что идея действительно хорошая?
    обучать бота решать задачи разных типов в сфере финансы ---> Вы уверены, что один бот сможет решать задачи разных типов?
    То есть будет проблема бот чтобы понял эту проблему ---> Ага, бот должен сам понять проблему. Как вы себе это реально представляете?
    и решил с соответсвующими формулами ---> т.е. вы ожидаете от бота решения с формулами??? Простите, а зачем?
    Пока в голову пришло только по порядку всевозможные проблемы писать----> Эта фраза весьма загадочна. Какие "всевозможные" проблемы по какому "порядку" писать? Зачем? какое это имеет отношение к написанию самого бота???
    Может кто то сможет подсказать оптимальное решение?---> Отпимальным будет начать с того, что-бы разобраться с тем, что такое "машинное обучение", что такое "бот", как вообще там все работает, потом внятно сформулировать вопрос. За одной по дороге поймете, на сколько "хороша" идея.
    Ответ написан
  • Правильно ли анализировать эффективность продаж сезонных товаров по предыдущему месяцу?

    @dmshar
    Не путайте "аналитику" с "предсказательными моделями".
    Аналитику можно строить любую, в том числе и такую, которую требует заказчик. А вот time-series forecasting проводить по предыдущему месяцу - нельзя. Да и вообще, по одному шагу назад делать прогноз вперед - бессмыслица.
    Кстати, а вот сезонную составляющую во временнОм ряду выявить и использовать для прогноза - через несколько лет анализа, разумеется - будет вполне вам по силам.
    Ответ написан
    Комментировать
  • Существуют книги с примерами, которые рассказывают, как правильно проектировать ПО?

    @dmshar
    Таких книг есть, и много. Однако, существует одно большое "но". Многие хотят "все и сразу" - быстро научиться программировать, быстро научиться проектировать ИС, быстро зарабатывать деньги.
    На самом деле все сложнее. Можно быстро освоить язык программирования и его фреймворки. Можно относительно быстро разобраться с базами данных и все что вокруг себя. Можно быстро понять, как построены веб-приложения и как их писать. И пр.пр.пр. Таким образом вы приобретаете некие навыки, грубо говоря - это уровень советского ПТУ, техникума, по современному - наверное - колледж. А потом приходит такой молодой (и даже с опытом) специалист на работу, ему дают задачу "спроектировать некую ИС". И тут - засада. Оказывается, для этого мало знать технологии, о которых написал выше и им подобные. Для того, что-бы правильно, аккуратно, и главное - эффективно спроектировать ИС надо обладать некой эрудицией в области ИТ, которой очень трудно научить, и которая постигается только с опытом реальной работы. Системный архитектор - это не просто программист с Х-лет стажа, это человек который набрал много много опыта реальных проектов (К слову, не верьте, когда в Универе или еще где вам будут предлагать обучиться на эту специальность. Это просто профанация).
    Однако не все так печально. Есть книги, в которых описаны множество различных методов и подходов к проектированию, которые призваны ПОМОЧЬ на пути освоения специальности Системного архитектора. Именно помочь, показать на примерах, объяснить и пр. А вот "стройной теории" как единственно правильно построить ИС нет и быть не может - уж очень разные ИС могут быть - от он-лайн магазина до системы управления работой АЭС, от медицинской диагностической системы до бухгалтерии. И при проектировании каждой такой системы применяются разные подходы.
    Теперь про книги, которые как-то пытаются систематизировать эти знания, безотносительно к конкретным языкам, технологиям или предметным областям. Часто информация по теме в виде отдельных - и часто очень объемных частей - рассматривается в книгах, посвященных управлению процессом разработки ИС.
    Есть "почти классика", или лучше сказать - специально-учебная литература, например,
    - Геркул В.И. и др. Проектирование информационных систем, Курс лекций.
    - Гвоздева Т.В, Проектирование информационных систем.
    - Смирнов Н.В Проектирование информационных систем\ Конспект лекций
    Есть более прикладные, но все еще обобщающие книги, например:
    -КузнецовМ.В. и др. Практика разработки Web-сайтов
    - Мацяшек Л. Анализ требований и проектирование систем. Разработка информационных систем с использованием UML
    - Горбаченко В.И. и др. Проектирование информационных систем с CA ERwin.
    - Черемных С.В., Моделирование и анализ систем. IDEF – технологии.
    - Исаев Г.Н. Проектирование информационных систем.
    Есть куча книг переводных, в которых описываются как конкретные практики и подходы, так и общие идеи (некоторые из перечисленных ниже книг вообще были первыми, в которых поднималась некоторая тема, которая сегодня кажется общеизвестной):
    - Ройс У. Управление проектами по созданию ПО.
    -Леффингуэлл Д., Уидриг Д. Принципы работы с требованиями к программному обеспечению.
    - Вигерс К. (Разработка требований к программному обеспечению.
    - Орама Э. Уилсон Г. Идеальная разработка ПО. Рецепты лучших программистов.
    - Брауде Э.Дж. Технология разработки программного обеспечения.
    - Фатрепп Р. и др. Управление программными проектами.
    И т.д. до бесконечности.
    Ну и стандарт ISO/IEC 12207 никто не отменял.
    Если вы хотя-бы просмотрите хотя бы часть из этого (бесконечного) списка - некоторые вопросы проектирования ИС вам станет решать легче. Но не обольщайтесь, компонент неопределенности и личного творчества в этом деле все равно останется очень большим.
    Удачи в продвижении к высотам профессии :-)
    Ответ написан
    3 комментария