Ответы пользователя по тегу Машинное обучение
  • Разумно ли начало it-карьеры с Data Science & ML?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    >претендовать на какую-нибудь затхлую должность недоаналитика для начала карьеры
    пробовать устроится то можно, НО обычно кроме теории требуется опыт решения задач, при этом в бизнесе часто сами задачи и используемые технологии очень размыты - поэтому без разнообразного опыта врядли можно устроится и нести какую-то пользу.
    нужно вобщем добавить работу с проектами, либо самостоятельно что-то придумать, либо попытатся стажером поработать (ёсли где-нибудь набирают).
    после этого года через 2-3 можете наверно пробывать на начальные позиции устроится.
    ну может и раньше получится, пробуйте.
    Ответ написан
  • Какие требования к аппаратной части для домашнего компьютера Data Scientist-а?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    для разработки и ноутбука хватит
    чтоб свою минибигдатку устроить подарите ему кластер на расбери ПИ)
    Ответ написан
  • Какой выбрать мощный компьютер или суперкомпьютер для машинного обучения?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    я тоже в целом посоветовал бы что-то арендовать если так надо, но обычно любую задачу можно решить на обычном компьютере бытовом, без всяких выкрутасов, просто объем данных сократить, или вы хотите чемпионом мира по анализу данных стать? если именно такая задача, то вам лучше в начале показать какой-нибудь результат на уровне мастера, а потом уже кооперироваться с кем-нибудь, кто будет предоставлять кластер.
    Ответ написан
  • Друзья, какой есть какой-нибудь фреймворк (желательно opensource) для вывода в прод моделей AI?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    создать веб-сервис из наброска в "блокноте" -> этим и занимаются программисты.
    никаких волшебных опен сорс коробочек, которые сделают это за тебя, нету.
    Ответ написан
  • Как между собой связаны IoT с ИИ, машинным обучением, Big data?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    Ну если разобраться что мы подразумеваем под Интернетом Вещей - разные датчики, устройства которые объедены через интернет. Обычно подразумевается что у тебя например в каждом доме есть какой-то датчик, или это устройство, и каждый такой датчик например генерирует ежесекундно данные.
    Одно устройство может генерировать хоть мегабайт данных в день (иногда и гигабайт в день), и таких устройств может быть хоть миллиард -> это гигантское количество данных которые тебе нужно обрабатывать и на этом предоставлять какой-то сервис.
    Это и есть биг дата (объем данных которые никак не обработать мощностями отдельного компьютера).
    Как такой объем данных связан с машинным обучением?
    Когда ты работаешь с системой, у которой например есть 2-3 параметра, например поступление топлива в котел и температура котла -> ты можешь в ручную запрограммировать модель управления температурой в зависимости от подачи топлива и управлять такой системой. Когда у тебя есть 20 параметров ты можешь набрать собрать несколько ученых и построить сложную модель с формулами из 20 переменных. Но когда у тебя число переменных параметров насчитывает тысячи штук, нет никаких возможностей что-то понять и как-то разобраться.
    Тебе очень сложно выявить зависимости и схемы поведения в сетях из миллиарда устройств. Чтоб понять как лучше управлять такими сетями и используется машинное обучение.
    Ответ написан
  • Какая связь между следующими терминами: Машинное обучение, Deep learning, Искусственный интеллект?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    машинное обучение - так называется схема благодаря которой алгоритм может подстраиваться под требуемый результат (грубо говоря самоулучшаться), дип лернинг - это машинное обучение на большом объеме данных, искусственный интеллект - изначально под этим подразумевали искусственный разум (такойже как у тебя например, только искусственно созданный), но сейчас все больше просто подразумевают хоть какие-то признаки самостоятельного принятия решений (уже якобы интеллект), вобщем это уже категории из философии, а не программирования. Предполагается что машинное обучение - одна из основ для искусственного интеллекта.
    Ответ написан
  • Не-python для машинного обучения/AI/нейронных сетей/etc?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    Стоящие фреймворки имеют интерфейс практически для любого популярного языка.
    Поэтому при желании можешь использовать любой язык, какой тебе больше нравиться.
    Как правило для разработки эффективно работающего кода используют компилируемые языки, а для наброска быстрого прототипа, когда эффективность не важна, используют скриптовые языки (типа питона).
    Питон просто попроще и зарубежом активно используется для простого обучения не программистов (экономистов, статистиков) программированию, а они в свою очередь много исследовательских и обучающих материалов создают, что в свою очередь уже популяризирует язык.
    Ответ написан
  • Проверка гипотезы на случайных (или неизвестного источника) числовых данных в виде ряда. Вопрос организации?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    можно написать простейший генератор случайных чисел от 0 до 100, и добавить к нему случайно "вверх" и "вниз", а потом на последовательности этих данных построить график, то вы его не отличите от текущего торгового графика.
    Советую вам не просирать свою жизнь на поиски того чего нет.
    Ответ написан
  • Хорош ли учебник статистики Ивченко для Machine learning?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    Машинное обучение — всего лишь другое название статистики.

    в машинном обучении есть несколько основных направлений.
    от психологов пришли -> к нейросетевым подходам
    от физиков -> пришли к моделированию
    от математиков и статистиков -> пришли к статистическим/вероятностным подходам
    от биологов пришли -> к эволюционными алгоритмами.
    -------
    Про книгу в 608 страниц о статистике -> я бы сказал, лучше не читать, для того чтоб вкатится в машинное обучение столько именно статистику изучать точно не требуется.
    нужно знать только что такое вероятность, и как считать условную вероятность
    Ответ написан
  • Как развить мат. аппарат до минимального уровня для машинного обучения и дата саенс?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    ой да не нужно там никакого аппарата, нужно понять как матрицы умножать/делить(условно), ну и как вероятность посчитать, там буквально за час можно все необходимые понятия и инструменты освоить, дальше прорешиваешь прикладные задачи, смотришь как их другие решали - ежедневно года 2-3 так решаешь и становишься более менее специалистом.
    Ответ написан
  • Статистические данные для проекта Big Data. Где найти?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    1) https://data.gov.ru/
    2) с чем удобнее работать с тем и решайте,
    если же ничего не использовали ранее то у вас есть возможность попробовать что-то новое и передовое например https://www.wolframalpha.com/
    Ответ написан
  • Что такое нейронная сеть, и можно ли ее заменить формулами?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    Ну к сожалению в угоду массовой культуре выбрано название, которое никак не отражает ни что это на самом деле ни как это работает. Нейронов там никаких и близко нет, есть логистический классификатор, который якобы работает как "нейрон" (что конечно даже близко не так, он простую формулу считает, работа же нейрона в миллиард раз сложнее), ну и набор таких логистических классификаторов называется нейронной сетью.
    Работу такой сети не только можно заменить формулой, она и есть формула. При обучении мы лишь подбираем коэффициэнты в этой формуле таким образом чтоб она давала, как можно более подходящие для нас результаты.
    Ответ написан
  • Можно ли сделать «умный дом» по настоящему умным?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    Сделать можно, как вы заметили нужен более менее единобразный интерфейс подключения и схемы работы с оборудованием. Постепенно либо производители к этому прийдут, либо появится один производитель который предложит простые и понятные и не дорогие схемы работы.
    Плаг энд Плей - как на ПК. типа включил и система (главный сервер) всех видит, предлагаются автоматически варианты взаимодействия с новым оборудованием.
    Ответ написан
  • Как быстро получить обзор методов машинного обучения?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    в вики достаточно кратко и понятно
    https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D1%88%D...
    -----
    но не берите грех на душу, если нет опыта, отдайте задачу тем кто уже занимался этими вещами. Иначе за такие решения, сами разработчики могут затоить на вас лютую злобу)
    Ответ написан
  • Проблема со смыслом в текстах генерируемых ИИ?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    цепи маркова всегда генерируют случайные данные (мусор), просто ограниченные определенными правилами (размерами вероятностей).
    поднять качество можно используя соревновательный подходы GAN (в области генерации такой подход сейчас на острие находится).
    подробнее тут:
    https://ru.wikipedia.org/wiki/%D0%93%D0%B5%D0%BD%D...
    Ответ написан
  • Как происходит класификация на Support Vector Machines?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    начальные веса случайным образом можно раздать, тоесть случайно определять какой класс перед тобой, для текущих весов. потом все равно ты изменяешь конфигурацию пространства гиперплоскости подгоняя его под требуемый результат, чтоб было больше правильных ответов, через механизм обратной связи)
    ну вобщем классическая схема, где стартовые значения не имеют особого значения, результат все равно будет один и тотже.
    Ответ написан
  • Управление БПЛА (дронами, квадрокоптерами) - какие актуальные задачи существуют?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    одна из самых сложнейших и не решенных задач -> автономная навигация, до какой либо цели, например в другом городе.
    подзадача: поиск и точная идентификация конечной цели пути (существующие системы слежения регулярно теряют цель, и не могут ее потом найти), понять короче, куда двигаться.
    еще одна подзадача: точного определения своего месторасположения (например когда нет сигнала со спутника, или в сигнале есть какая-либо ошибка), ориентируясь на местности.
    Ответ написан
  • Как технически реализовать проект, чтобы применить технологию AI?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    хех, вы хотите чтоб мы за вас написали вам ТЗ?
    нет устоявшихся успешных решений в этой области, просто не существует, ваша (стартапа) задача НАЙТИ такое решение.
    Для этого поиска, можно использовать бесчисленное количетсво методов, подходов, технологий, языков и тд.
    Найдите грамотных разработчиков, позвольте им САМИМ РЕШИТЬ как правильнее это делать, а не диктуйте им решения раз сами в этом нихрена не понимаете, формируя представления в теме на основе каких-то обсуждений на форуме.
    Ответ написан
  • Машинное обучение - это работа для "ученых" или программистов?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    Сейчас есть инструменты для разных категорий пользователей.
    Если ты ученый, для тебя есть возможности по исследованиям и эксперементам.
    Если ты разработчик, есть фреймворки и исследования на базе которых ты можешь заниматься разработками.
    Есть ты домохозяайка, есть полностью готовые решения, где задача только развернуть и приконектить друг к другу готовые части.
    Работа есть для любой категории пользователей -> определяешься с кругом задач, и двигаешься в выбранном направлении.
    Ответ написан
  • С чего начать обучение бота на нейронной сети?

    angrySCV
    @angrySCV
    machine learning, programming, startuping
    вы должны понимать зачем вам нужно использовать именно нейронную сеть.
    Вам лучше с самых азов зайти, кого обучать, как обучать и тд.
    например упростить задачу до обучения "футболиста" в качестве "автономного агента", на основе конечного автомата, у которого есть состояние (окружения и его самого) и есть действия - и вы пробуете разные комбинации этих состояний и действий.
    Например вы можете описать состояние футболиста как расположение мяча (справа слева впереди, впереди-справа, впереди слева и тд) - сопоставляешь этому состоянию отдельноое действие (движение вправо, влево и тд), дополнительно можешь сопоставить например расстояние до мяча.
    например мяч вверху-слева дистанция 10 ячеек -> действие агента -> движения прямо
    мяч справа слева дистанция 2 ячееки -> действие агента -> движение влево.
    в итоге у тебя получается записанные сопоставления состояниям и действиям.

    для того чтоб обучать оптимальному поведению тебе нужно вводить функцию оценки результата после действий, награждать (запоминать), действия которые приводят к увеличению результата, и отказываться от действий которые снижают результат.
    результатом может быть например 1/"расстояния до меча"
    в начале запускаешь агента с рандомными переборами взаимодействий между состояниями и действиями. Потом более менее обученных двигаться, запускаешь играть друг против друга например в футбол и тд.
    добавляешь к результату оценку результата матча и тд.
    можно использовать генетический алгоритм для более быстрого поиска оптимальных параметров конечного автомата, можешь попробовать потом нейросеть прикрутить. Можешь на основе статистики готовой какие-то выводы сделать (но у тебя статистики я так понимаю никакой нет, так что тебе все равно прийдется обучать бота, играя друг против друга, и перебирать случайные варианты).
    Ответ написан