kotofey

ну well оно и в африке


а потом уже только колодцы

вообще все сложнее и с лесом тоже

Хехехех, некоторые годами тренируют нейросети, чтобы они более-менее адекватно отвечали на вопросы пользователей. А могли бы просто базу скачать, всего то!

Все всегда будут вкладывать разный смысл в эти слова, смотрите по требованиям и задам. Навскидку:
-Engineer, почему из БД пропала часть данных?
-Scientist, почему модель на валидации хорошая, а в проде беда?
-Analyst, сделай-ка запрос с джоинами и группировками

Если знаний в компьютерной лингвистке чуть больше чем ноль, то задачу решить получится не скоро ...
Почему-то поголовное большинство разработчиков тешутся надеждой, что нейронные сети магическим образом решат любую задачу в области искусственного интеллекта.

А какими примерами обучать нейросеть? Ведь не голым текстом... Типа, говоришь нейросети: "глянь, тут человека упомянули". Так что-ли? Для компьютера текст - это лишь последовательность байтов, поэтому он не может понять что для нас-людей представляет интерес. Компьютеру нужно всё разжевать и объяснить на языке цифер.
Ведь как носители языка понимают, что в тексте речь о людях? Есть набор запомненных слов (словарь), которые человек прочтя или услышав, сравнивает со своим словарным запасом и тогда решает, к какой категории относится слово в данном контексте.

Чтобы, проанализировав текст, понять, что "ищут ли какого то человека, мастера", необходимо вычленить некоторые ключевые слова, взятые из словаря: "ищу", "помогите", "подскажите", "посоветуйте", "требуется" и т.д., в сочетании с упоминанием людей (синонимы) и профессий (словарь профессий).
Нейронная сеть на этом этапе не нужна. Она поможет в классификации при работе с цифрами, фактами (булева логика). Так что перед анализом текста нужно извлечь факты и связи из текста и затем скармливать ими классификатор. Помимо нейронных сетей есть другие виды классификаторов, более простых и лёгких в использовании, такие как байесовский классификатор. Нейросети могут быть как с обучением, так и без.

В качестве вводной части имеет смысл начать с лекции Яндекс - Малый ШАД - Лингвистика в поиске.pdf
По практической части: Что такое Томита-парсер, как Яндекс с его помощью ...

Возможно, задача решается проще и без нейросетей.

Можно еще здесь посмотреть: https://shikari.do/category/web-it-specialisty
Трехдневная подписка бесплатно

Поздравляю! Вы взялись просто за колоссальной сложности задачу. Крупнейшие корпорации тратят тысячи человеко-часов, годами корпят над этой темой, и при этом количество ложноположительных и ложноотрицательных срабатываний их систем защиты просто раздражающе велико.

Методов тоже уйма. Время захода, работы, отпечатки браузеров, диапазоны IP-адресов - это на поверхности, очень просто и нифига не продуктивно. В конечном итоге оно выливается в то, что клиент где-нить в командировке с IP местного провайдера и выданного на работе бука вынужден бороться с вашей системой. Сейчас копают в других направлениях. Например мышь. Для многих не очевидно, но паттерны движений курсора мыши уникальны для каждого человека. Там ведь не только наведение на элементы интерфейса, т.е. продуктивные движения, еще очень показательны т.н. холостые движения - к примеру, то, как вы крутите курсор, пока ждете загрузку чего-то. Только вот человек не постоянен. Стоит вам научиться выделять человека из прочих по тому, как он работает мышью, в каких ритмах набирает текст и т.п... как он ррраз! и заболел. И его вялое тыканье в элементы интерфейса начисто смажет вам всю картину) А если у него сдохла мышь, и он начинает пользоваться тачпадом?)

К чему это я. Сам буду рад услышать тех, кто в теме, но не рассчитывайте увидеть в ответах что-то действительно стоящее.

На самом деле, это немного разные понятия.

Backpropagation дает нам функцию, которую надо оптимизировать ( = найти минимум\максимум).

SGD находит минимум\максимум некоторой произвольной функции.

Кроме стохастического спуска, есть еще full-batch gradient descent (это тот самый, по умолчанию, когда изменяем коэффициенты после обсчета всей выборки), mini-batch gradient descent (промежуточный вариант, когда меняем коэффициенты после обсчета N элементов выборки), rmsprop, ADAM, имитация отжига и т.д.

Не совсем ответ, но есть форум, где осуждают проблемы с ES и морфологией в частности на русском (если существенно): https://discuss.elastic.co/c/in-your-native-tongue...

И стоит посмотреть issue проекта этого плагина (больше закрытые, т.к. по открытым нет ответов):
https://github.com/imotov/elasticsearch-analysis-m...


Автор плагина Игорь Мотов, я ему задавал вопросы.
У меня была близкая проблема при использовании wildcard, но оказалось, что это не проблема морфологии.

Вы путаете теплое с мягким.
REST - это методология, работа с таким апи может быть реализована на любых технологиях (включая js), реализация на стороне сервера - тоже.
JS API - это уже конкретная реализация клиентской библиотеки. На сервере, с которым работает эта библиотека, при этом может быть REST апи.

сделать

Это глупо. На хабре как то была статья Твой код никого не интересует, увы это правда. Те, кто захотят его получить любой ценой - придут в ДЦ с ордером на обыск ваших серверов.

Ценность не в коде, а в задачах, которые он решает в конкретном проекте, конкретной инфраструктуры, конкретной компании. Как пример: думаю практически у каждого хранится копия проектов, с которыми он работал. Безусловно, бывают исключения, но в 99% случаев этот код остается только небольшим справочником в стиле "хм, такую задачу где-то я уже решал.. подсмотрю как.." Но при этом интеграция тупой копипастой обычно не катит, и все что вы получаете - это просто мысль, которую нужно записать в контексте нового проекта.

Вы не переживайте, напишите свою первую 100к строк - поймете, что в этом смысла нет))

Я думаю страх очень простой - из-за отстуствия ощущения поддержки. Большого Брата вроде MS или Оракла не стоит за Node.js. Я конечно не хочу сказать, что всем на него плевать и никто не предложит поддержку - другое дело, насколько эти фирмы на слуху.
Смежным вопросом является доступность важных для коммерческой разработки вещей. Если вы ранее использовали WCF - не удивительно, что после такой махины, которая из коробки поддерживает огромное количество стандартов для олдскульных XML веб-сервисов (с безопасностью, адресацией и т.д.), и даже REST-сервисы, многие захотят идти в ноду и заново собирать себе там необходимые инструменты и библиотеки, даже если они есть (что конечно надо сначала проверить).
Ну и, наконец, основным субъективным фактором является желание использовать полученные навыки. У WCF довольно приличный порог входа, и разбираться нужно реально долго, прежде чем можно чтото применить на практике с пониманием происходящего. Это как с WPF последнее время народ негодует - все потратили N месяцев на изучение (один XAML чего стоит), а от майкрософта за последние 6 лет толком не новшеств ни обновлений не было, все смотрят на переписанный с нуля ASP.NET (который теперь всю платформу ведет в правильное русло), и завидуют. Так и вы приходите весь в белом и говорите - забейте на ваш багаж корпоративного дотнета, все идем в ноду.

Это?

habrahabr.ru/post/210166

Есть куча альтернатив, например тут списком nodeframework.com или тут https://github.com/sindresorhus/awesome-nodejs#web..., а express весьма даже спорный инструмент, например habrahabr.ru/post/243945 и мой коммент habrahabr.ru/post/243945/#comment_8141311 А писать на чистой ноде для простых и сильно оптимизированных задач все еще эффективнее всего, но нужно готовиться к тому, что ничего их коробки не будет, нужно программировать головой и руками.