• Как классифицировать текст с помощью нейронной сети?

    Если знаний в компьютерной лингвистке чуть больше чем ноль, то задачу решить получится не скоро ...
    Почему-то поголовное большинство разработчиков тешутся надеждой, что нейронные сети магическим образом решат любую задачу в области искусственного интеллекта.

    А какими примерами обучать нейросеть? Ведь не голым текстом... Типа, говоришь нейросети: "глянь, тут человека упомянули". Так что-ли? Для компьютера текст - это лишь последовательность байтов, поэтому он не может понять что для нас-людей представляет интерес. Компьютеру нужно всё разжевать и объяснить на языке цифер.
    Ведь как носители языка понимают, что в тексте речь о людях? Есть набор запомненных слов (словарь), которые человек прочтя или услышав, сравнивает со своим словарным запасом и тогда решает, к какой категории относится слово в данном контексте.

    Чтобы, проанализировав текст, понять, что "ищут ли какого то человека, мастера", необходимо вычленить некоторые ключевые слова, взятые из словаря: "ищу", "помогите", "подскажите", "посоветуйте", "требуется" и т.д., в сочетании с упоминанием людей (синонимы) и профессий (словарь профессий).
    Нейронная сеть на этом этапе не нужна. Она поможет в классификации при работе с цифрами, фактами (булева логика). Так что перед анализом текста нужно извлечь факты и связи из текста и затем скармливать ими классификатор. Помимо нейронных сетей есть другие виды классификаторов, более простых и лёгких в использовании, такие как байесовский классификатор. Нейросети могут быть как с обучением, так и без.

    В качестве вводной части имеет смысл начать с лекции Яндекс - Малый ШАД - Лингвистика в поиске.pdf
    По практической части: Что такое Томита-парсер, как Яндекс с его помощью ...

    Возможно, задача решается проще и без нейросетей.
    Ответ написан
    Комментировать
  • Как классифицировать текст с помощью нейронной сети?

    Arseny_Info
    @Arseny_Info
    R&D engineer
    1) Почистить данные (убрать стоп-слова, спецсимволы, привести в нормальную форму и т.п.)
    2) Векторизовать данные (bag of words, tf-idf, n-grams... )
    3) Разделить выборку на train/test.
    4) Собственно, обучить классификатор (не начинайте с нейросетей, начните с чего-то более простого типа random forest).
    5) Сделать кросс-валидацию, ужаснуться от результата, начать чинить проблемы на каждом шаге.

    Очень базовый туториал scikit-learn.org/stable/tutorial/text_analytics/wo... Гораздо менее базово - nlp.stanford.edu/IR-book/.
    Ответ написан
    Комментировать
  • Как вытянуть данные из поста в вк?

    @Fenix957
    https://vk.com/dev/wall
    все что тебе нужно там ) и конечно лучше будет работать через api а не парсить всю страницу
    Ответ написан
    Комментировать
  • Как переместить boot manager?

    redsabien
    @redsabien
    Физически начальный загрузчик всегда должен быть в начальной области диска это вторые 512 байт после MBR, а в случае с windows это можно сделать на горячей системе, в помощь видео уроки например trainithard там есть урок связаный с тем как это сделать с пооооодробнейшей иллюстрацией
    Ответ написан
    5 комментариев
  • Как наложить изображение на карту на сайте?

    vipuhoff
    @vipuhoff
    Я думаю нужно копать в эту сторону. Естественно Котэ нужно сделать меньше чем хреновина в примере.
    Ответ написан
    1 комментарий