Как в произвольном тексте найти почтовые адреса?

Question

[fatum]

У меня на входе есть произвольный текст. Есть еще сервис адресов, по которому можно проверить на правильность и единообразие.


Каким образом устроить обработку входящего произвольного текста так чтобы найти в нем адреса? Например: город Марганец, ул. Кибальчича 4.


Я предполагаю что это лучше всего делать в несколько этапов.

1. Вытащить кусок текста в районе ключевых слов: улица, город, дом;

2. Дальше хочется автоматизировать процесс и видится обучающаяся система на примерах человеческого обучения;


Возможно есть еще какие-то идеи?

Comments

[Fed_Mikron]

Уважаемый fatum , я столкнулся с полностью аналогичной задачей, можете рассказать, на каком решении Вы остановились? Может и поделитесь инструментом? :)

Answer 1

[fatum]

Итак. Подведу итоги своих изысканий.

NLP — это не совсем то что нужно. Для частных случаешь работает прекрасно, но для разнообразного множества — не подходит.

Я выбрал направление машинного обучения.
В этом случае мне не придется самому создавать шаблоны, находить зависимости и т.д.

Поэтому записался на 2 курса в coursera.org:
Machine Learning — www.coursera.org/course/ml
Web Intelligence and Big Data — www.coursera.org/course/bigdata

Comments

[Сергей]

Яндекс выпустил Томита-Парсер для выделения фактов в том числе адресов и дат по заранее составленным правилам грамматики.

Answer 2

[marazmiki]

Извините.

Comments

[fatum]

класс )))
но я знаю что такое регулярки и поверьте — это не то что нужно

[briskly]

Поверьте, не вы одни знаете, что такое регулярки, и это то, что нужно

Answer 3

[MikhailEdoshin]

Вычленяете регулярками токены, то есть роли слов. У вас будут роли для служебных слова разметки (г., ул., д, корп., кв., плюс варианты) и роли для прочих слов, которые можно подразделить на известные города и типичные улицы (Москва, Ленина, Мира), числа, почтовые индексы и единая роль НЕИЗВЕСТНО для всех прочих слов.

Если в тексте нашлись токены, известный город, улица, или (в зависимости от текста), даже просто число, то это сигнал — возможно, это адрес. Вычленяете список токенов, после чего разбираете уже список. Например, получилось «ИЗВЕСТНЫЙ-ГОРОД УЛ НЕИЗВЕСТНО ЧИСЛО». Скорее всего (99%) за НЕИЗВЕСТНО находится название улицы. Или НЕИЗВЕСТНО НЕИЗВЕСТНО ЧИСЛО ДЕФИС ЧИСЛО — может быть (50%) короткая запись адреса вроде «Тыгдым, Северная, 25-12». Вероятности условные, конечно :) Таких паттернов будет относительно немного, их уже парсить куда проще. В простейшем случае можно завести таблицу распознаваний «ИЗВЕСТНЫЙ-ГОРОД УЛ НЕИЗВЕСТНО ЧИСЛО -> ИЗВЕСТНЫЙ-ГОРОД УЛ НАЗВАНИЕ-УЛИЦЫ ЧИСЛО»

Если правила для паттерна нет, запоминайте этот случай, чтобы потом разработчик мог его улучшить. Плюс можно запоминать только что распознанные улицы и сопоставлять в каком городе какие улицы есть. Это простейший, конечно, алгоритм, но он вполне будет работать.

Comments

[fatum]

спасибо, я ждал таких ответов

[fatum]

т.е. это те размышления, которые мне нужны чтобы понять объем задачи в принципе
еще раз благоодарен

Answer 4

[No_Time]

Так не за что извиняться. Суть отражена крайне точно, решение предложено лучшее, так что все ок=)

Comments

[No_Time]

ой промазал к ответу выше. Пардон. Еще раз по теме — используйте регулярки.

Answer 5

[parkee]

Кто-то плохо знает регулярки ;) Все это вычленяется, включая все разнообразие форматом записи телефонов. Хотя, конечно, не со 100% точностью. Индекс, кстати, бывает вообще словами. Во всяких британиях, например. А город/улицу/телефон сливать в данные об одном и том же месте, если они находятся в пределах одного или соседних предложений можно, как вариант. В общем тут все сильно завязано на конкретный текст. Универсального ответа нету. Гору не так уж и часто сокращают, но можно и отфильтровать по словарю, хотя опять же зависит от текста/задачи/объема.

И, да, не забудем мы про регулярки ;) Во всех системах обработки естественного языка так или иначе задействованы регулярки. Если есть время, можете попересматривать тот курс по NLP nlp-class.org Все должно прояснится.

Comments

[fatum]

Регулярки — это тот же конечный автомат, но.
Если вы хотите работать допустим с 200 000 адресами — представляете сколько регулярок нужно?
В целом, я понял одно, эта задача не решается в 2 этапа. Их больше и каждый со своей нормализацией и т.д.

[fatum]

за ссылку списибо, то что нужно почитать

[fatum]

У меня давно в закладках была эта курсера, но все никак повода не было. Вы мне о ней напомнили в нужное время.
Спасибо.

Answer 6

[Juggler]

Не сочтите за рекламу, просто сам пользуюсь — ahunter.ru

Comments

[fatum]

спасибо, пригодится

[fatum]

я даже скажу больше — это вот тот функционал который я хочу сделать )

Answer 7

[Александр Хмелев]

По идее без базы городов и адресов задачу решить вообще довольно сложно.

Например «Луганск Оборонная 39» мало отличается от обычного текста, если заранее неизвестно что речь о городе и улице.
В то же время гугл находит о каком адресе речь: my.jetscreenshot.com/226/20120819-yhtt-39kb
Вывод: если приложение ненагруженное можно просто покопать api гуглокарт, иначе только свою базу нужно.

Comments

[fatum]

Да, я так и думал воспользоваться. По Украине еще можно подключить Визиком, у них данные получше Гугла и Яндекса.
Спасибо

Answer 8

[fatum]

В целом как вычленить строку похожую на почтовый адрес — я понимаю, но вопрос больше в общем алгоритме задачи.
Мне не нужны точные конкретные решения. Я ищу примерный, но понятный подход к решению данной проблемы.

Вот я знаю что есть такая реклама которая сама выискивает ключевые слова на странице и делает их ссылками. Это немного из той же оперы, но на много сложнее )))

Comments

[No_Time]

влоб тупая регулярка для выдергивания конкретно вашего примера адреса:

\w+\s\w+,\s\w+.?\s\w+\s\d+

[No_Time]

вместо некоторых \w+ можно вставить ключевые слова: дом улица и тд. для пущей надежности. Но это уже зависит конкретно от вашего инструмента(языка), ибо с кириллицей везде дела обстоят по-разному. На чем пишите?

[No_Time]

ах да, ваша реклама 100% процентов делает поиск на основе регулярных выражений=)

Answer 9

[Николай Турнавиотов]

хорошо.
тогда вот Вам, например г. Блабла, *слова текста* ул. Блабла Блабла, 01101, т.123-12-12

сокращений, общепринятых не так много, можно и попробовать. но г — гора, город, после Блабла в названии улицы точки/запятой моет и не быть, индекс вроде 5 знаков по миру, а вот номера телефонов могут писать как попало.

А зачем Вам это надо, собственно?

Comments

[fatum]

Я хочу извлекать адреса из любого текста и, как результат, я смогу привязать текст к геоданным.
Спасибо.

Answer 10

[fatum]

Да забудьте вы про регулярки )
Обрезать текст по минимуму, я понял, не проблема.

А вот дальше. Реально обучить систему находить адрес или все перебирать прийдется?

Comments

[No_Time]

Зачем?=) в тех же регулярках можно необходимые куски из уже найденной подстроки выделить, чаще всего это происходит с помощью скобок (). Просто не совсем понятна ваша маниакальная мания обучить компьютер, зачем изобретать велосипед, когда он уже давно написан?=)

[fatum]

Дело в том что речь идет об больших и разнообразных объемах данных. И множество частных случаев не обработаешь руками.
Спасибо

Answer 11

[fatum]

Если есть высказать — пишите в любом случае.
Спасибо