Форматирование (нормализация) почтового адреса для поиска дублей?

Question

[psylosss]

В базе данных есть 100500 записей с почтовыми адресами (г. Москва, просп. Мира, 10-204). Требуется найти дубли. Каким образом это можно сделать? Есть ли готовые решения, или нужно будет изобретать велосипед?

Comments

[dilix]

Почтовые адреса сами не нормализованные никак? Т.е. Может быть и «просп. мира» и «проспект мира»?

[psylosss]

Да, это произвольная строка

Answer 1

[lyalius]

дешевая рабочая сила вас спасет :)
а вообще можете нормализовать адреса через dadata.ru, а потом попробовать помэтчить
только с домами строениями и квартирами придется повозиться

Answer 2

[dilix]

Можно сделать при изначальном отсутствии какой-либо нормализации совсем странный способ — найти апи карт и сравнивать возвращаемые координаты по хешу например.

Comments

[psylosss]

Сейчас так и делается, но таким образом покрывается лишь около 80% адресов

Answer 3

[mrstrictly]

Попробуйте использовать API Яндекс.Карт, сравнивая выдачу геокодера. Документация.

Comments

[psylosss]

См. ответ выше. Способ хороший, но не очень полный. Плохо работает для маленьких городов, для которых нет детальных карт

Answer 4

[Пума Тайланд]

Ну вас спасет дешевая детская рабочая сила.
Нанимаете фрилансеров по доллару в час и пусть перебирают.

Comments

[psylosss]

Перебирают — что? Надо же сравнить каждый из 100500 адресов с каждым из 100499

[Пума Тайланд]

Ну во первых вы уже сделали перебор по апи яндекс карт, во вторых никто не мешает вам отсортировать по городам и улицам, дело не хитрое.
А там и перебирать просто.
Ну или просто сделайте нормализацию и приведите все к одному виду, тогда не надо ничего сравнивать, а просто перебрать все адреса один раз то есть O(n) вместо O(n^2)

Answer 5

[Алексей Островерхов]

У меня когда-то давно (лет 12-13 назад) стояла похожая задача. Я приводил к нормализованному виду в несколько проходов
1) Перевел все в один регистр (верхний)
2) Заменил все «пр.», «просп.» и «проспект» на что-то одно. ТО же самое проделал с квартирами, домами, строениями и прочим.
3) На основании всего этого уже сделал 3 норм. форму.
4) Разобрался с адресами, которые не смогли нормализоваться
НА базу с 25000-30000 адресов я потратил 2 или 3 дня.
Понятно, что решение в лоб и может быть не совсем эффективное, но альтернативой было ручное перезабивание всей этой информации, что несколько не устраивало меня :)

Answer 6

[antonsobolev]

Система Papyrus (www.petroglif.ru) умеет это делать. Но ваша проблема — заказная: импорт-парсинг-экспорт. За небольшие деньги можно легко осуществить.