Ответы пользователя по тегу Машинное обучение
  • Как настроить ML-модель?

    @sunsexsurf
    IT & creative
    автор выше вам ответил очень объемно и правильно. Дополнительно, не забывайте про такую библиотеку (hyperopt): https://habr.com/en/post/542624/
    Она работает лучше, чем встроенная в sklearn (но для базового понимания надо начать с нее)
    Ответ написан
    Комментировать
  • Как вычислить веса линейного классификатора?

    @sunsexsurf
    IT & creative
    Поддержу автора выше. Нарисуйте линию, посчитайте сумму квадратов расстояний от ваших точек до этой линии (или средний квадрат - как вам будет угодно), поищите другие линии. Таким перебором вы рано или поздно нарисуете такую, при которой ваша ошибка будет минимальной. Такая линия будет "усреднением", аппроксимацией ваших наблюдений. Если вы в ваши точки добавите еще и класс этих точек (напр., бинарное разделение, 1 и 2). то тут вы должны не только исхитриться провести линию "усредненно", но еще и так, чтобы точки одного класса оказались с одной стороны, а точки другого - с другой. Иногда для этого добавляют еще одну размерность, в которой эти точки хорошо разделимы. Это вкратце о разделяющей поверхности и методе svm. Естественно, руками такого никто не делает, ваш sklearn давно и хорошо это умеет "из коробки".
    Ответ написан
    Комментировать
  • Как категоризировать товары на сайте?

    @sunsexsurf
    IT & creative
    странно, что в фасттекст не задалось. У вас, по сути, как я понял из вашего вопроса, задача разложить описание товара на несколько категорий. Ну так и давайте по шагам:
    1/ берем текст, берем обученную модель, находим, что товар - утюг. Ок, прекрасно. (Кстати, на верхнем уровне даже модель не нужна - регулярок, наверное, достаточно, но это вам решать)
    2/ Снова применяем фасттекст к тому же описанию, но ищем что-то про пар (вообще, тут можно искать в один проход, по сути, но надо правильно считать метрику - вам же вначале надо сегментировать утюги).
    3/ записываем айдишник этого утюга в паровые утюги, ок.

    По сути, вы из текста должны вытащить несколько сущностей. Попробуйте DeepPavlov - может взлететь.
    Ответ написан
    Комментировать
  • Как создать нейронную сеть для трансформации текста?

    @sunsexsurf
    IT & creative
    коротко: возможно.
    длиннее: надо иметь большой датасет, потому как это классическое обучение с учителем
    Ответ написан
    Комментировать
  • Как с помощью NLP распознать названия начальных и конечных пунктов маршрута?

    @sunsexsurf
    IT & creative
    во-первых, действительно, вам нужно решить NER-задачу, то есть достать из строки названия. Такое умеет, например, библиотека Natasha (ссылка на гитхаб).
    Потом, как вариант, сделать так: если перед объектом стоит "из" - это значит начальный пункт, если "в" - конечный пункт. Но это вторая задача, которая решается не ML, а с помощью подбора лингвистических правил, скорее.
    Ответ написан
    Комментировать