Есть ли в открытом доступе база данных наиболее используемых существительных и популярных названий продуктов?

Question

[yurka]

Люди добрые, если кто нибудь знает подскажите. Нам нужна база данных наиболее используемых существительных и популярных названий продуктов на русском и английском на досках объявлений. Хотим улучшить автоподсказки в поиске объявлений по базе.



Есть ли такое где либо в открытом доступе?

Comments

[yurka]

До этого использовали накопленные запросы поиска как базу для автоподсказок, но такой подход требует ручной доработки.

Answer 1

[ntkt]

Вам стоит посмотреть в сторону того, что у лингвистов называется corpus, и результатов его машинной обработки.

Для эксперимента можно начать с www.artint.ru/projects/frqlist.php, там есть списки слов, с проставленными частями речи и упорядоченных по частоте, например — www.artint.ru/projects/frqlist/lemma.num.zip

Список слов, доступный с этой страницы, содержит примерно 35000 слов с частотой большей 1 ipm (вхождений на миллион слов, instances per million words). Имеется также более короткий список из 5000 наиболее частотных русских слов. Списки используют кодировку кириллицы Windows-1251 и упакованы утилитой WinZip (пользователи Linux или Mac могут использовать StuffIt для распаковки).

Структура списков соответствует формату лемматизированных списков из British National Corpus (BNC), созданных Адамом Килгарифом, а именно:
порядковый номер, частота (ipm), лемма, часть речи (классификация BNC).

Comments

[yurka]

Вот это почти то что мы искали! Из списка можно будет вытащить только существительные, и использовать как первоначальнуе базу. Потом со временем собрать свою частотную статистику и придерживаться ее. Плюс дополнить названиями продуктов из статистики запросов поиска.
Спасибо!

[Максим Дьяченко]

Ориентируйтесь лучше на вариант с phpmorphy.
Любой корпус как и словарь всегда сильно уступает реальному словарному запасу в плане жаргонизмов, имен собственных и т.п.
А название брендов о которых вы говорите к этому относится очень сильно.
Но это ладно. В данном случае пхпморфи предлагает предсказание (т.е. предполагает морфемы для незнакомых слов — по аналогии со знакомыми). Это несколько больше чем просто словарь.

Второй аргумент против просто словарей — пхпморфи вам все равно понадобится. Иначе как вы будете сравнивать/находить слова в разных формах? Русский язык это не английский. Очень много падежей, разных окончаний и т.п. А стеминг в данном случае не очень применим.

[yurka]

Сегодня, после некоторых опытов с phpmorphy, пришел к выводу, что к сожалению работа со словарями для данной задачи все-таки уступает место обычному методу использованию запросов поиска.

Если сравнить оба метода (словарем обрабатывались тексты объявлений и обсчитывалась статистика по каждому слову)

1. Наиболее частотные запросы поиска во основном и являются наиболее используемые существительные или назв. продуктов.
А вот после обработки словарем система выдала в наиболее частых словах октровенно не нужные существ., такие как «Солнце», «Человек',
„Слово“ и т.д.
2. Частые запросы поиска так же включают фразы, такие как „Поиск работы в Москве“. При обработке словарем такого добиться очень сложно.

Помощь словаря в обработке запросов поиска так же не существенна, так как „Поиск работы в Москве“ и „Ищу работать в Москве“ выдают общие результаты поиска, и мы смело можем выдавать в подсказке и первый и второй вариант.

К сожалению очень проблематично и в первом и втором случае обрабатывать синонимы. Допустим „iphone“ и „Айфон“ В этом деле не помогает не словарь, ни статистика запросов…

Answer 2

[olgab]

Если есть теги в объявлениях их можно использовать как автоподсказки. Помоему самый простой вариант.

Comments

[yurka]

Теги не используем, хотя они бы помогли конечно. Просто поле для заполнения тегов в объявлении это дополнительный барьер для пользователей.

Answer 3

[Пума Тайланд]

НУ просто заиндексируйте ваши объявления и юзайте слова из них.

Comments

[yurka]

Пробовали, получается каша. В автоподсказке вываливаются не только существительные, но и прилагательные и глаголы и все остальные части речи. Если бы знать как отфильтровать этот мусор, проблему бы так и решили. Логически это наиболее правильное решение.

[Пума Тайланд]

Ну по словарю прогоните и оставьте только существительные.

[yurka]

Если есть такой словарь на примете, могли бы подсказать? Это бы конечно решило проблему. Тогда можно еще отфильтровать по частоте употребления и проблема решена.

[Пума Тайланд]

Я думаю нагуглить словарь не проблема.

[yurka]

pymorphy как-то прошел мимо меня. Очень интересный проект, спасибо за подсказку.