Реквестую помощь коллективного разума по парсингу адресов, какой из вариантов лучше?

Question

[Владимир Коротенко]

На входе есть слабо типизованный адрес. Где по идее формат следующий:

Индекс, Страна , Регион, Город, Улица, дом, всякое разное

Что я отловил.

1. Пропуски запятых
   
2. Пропуски частей
   
3. Пропуски индекса
   
4. Пропуски запятых
   
5. Пропуски вообще всего в любых комбинациях, без разделителя
   
6. Реверс всего, кстати этим страдает почему то Чечня и внезапно Дагестан (Почему????)
   
7. Трэш со смесью пробелов и \t
   
8. Замена запятых на пробелы (Нижний Новгород или Ново Воронеж, Нижний Устюг)
   
9. Вариации (Нижний-Новгород Нижний - Новгород Нижний Новгород)
   

Как бы решения на поверхности, точнее что перебрал:
1. Разобрать все по логичным форматам, то есть если первый индекс больше 6 или не парсится в целое , то это мусор а не адрес
2. если нет запятых то поделить по пробелам, но тогда улица революции 1905 года просто плачет
3. Взять фиас и парсить каждый адрес, увы и ах
4. взять дадату и парсить, тоже так себе вариант

В общем призываю к обсуждению.

Возможно есть какие то мысли как этот хаос привести под знамена Императора!

Comments

[Александр Ананьев]

Думаю, что хорошая задача для нейросети

[Владимир Коротенко]

Александр Ананьев, Я бы все же не палил из пушки по воробьям.
В мыслях было адаптировать "Решето Эратосфена"
или "Цепь Маркова"
Но тут я реально вылезу за пределы памяти, сейчас все словари где то в размере 150 мегабайт. И программа упирается в скорость записи на диск.

[Everything_is_not_so_bad]

Александр Ананьев, ИНС будет давать сбои на необученных особых адресах.
Возможно, это хорошая задача для дерева решений или таблицы принятия решений.

[Владимир Коротенко]

Роман Мирр, Итак немного пообсуждал и подумал. Итак допустим что количество кривых программ ограничено.
У меня есть словари

* Индексы России
* Страны
* Регионы
* Города, поселки и прочие
* Улицы
* Дома и прочая нумерация

То по ходу мне нужно идти от полного совпадения к частностям.

public class AddressParser
 {
        private AddressParser() { }

        public string PostCode { get; set; } = string.Empty;
        public string Region { get; set; } = string.Empty;
        public string City { get; set; } = string.Empty;
        public string Street { get; set; } = string.Empty;
        public string Country { get; set; } = string.Empty;
        public string Building { get; set; } = string.Empty;
        public bool NotParsed { get; set; }
        public string Address { get; set; }
}

Итого мы имеем примерный код

if(string.isNullOrWhitespace(address))
{
   NotParsed  = true;
   Adsress = address;
}

if(address.ContainSixNumber())
{
   // по  идее тут мы можем узнать регион и город и в дальнейшем сказать что кто то накосячил с улицей
   PostalIndex = address.GetPostalIndex(address);
}
if(address.ContainRussian())
{
   Country = Const.Ru;
}
if(address.ContainRegion(address))
{
   Region = address.GetRegion(address);
}
// и  так далее, причем каждая проверка вырезает ту часть из адреса, которую опознала. 
// Причем мы делаем опять же допущение что хаоситов не особо много, а на нашей стороне подданные императора  и ошибок  встретится разумно
// Если что то не так, взводим флажок  NotParsed  и выплевываем значение Address  как есть

Answer 1

[d-stream]

ParseRussianAddressV3 ? )

Думаю разделители предполагаемых сущностей - это самая мелкая и простая задача... а вот дальше... типа нарисовалось штук 8-9 похожих на поля строк - перебираем варианты максимального соответствия...

Но... "105037, улица Парковая 3-я, г. Москва" может вдруг оказаться "105037_3-я Парковая"...

p.s. адресок ломаюший парсеры от диадока долетел?
Вот еще из такого же: https://github.com/diadoc/diadocsdk-csharp/issues/227

Comments

[Владимир Коротенко]

Да, отложил в копилочку (это кстати не фиас, а другой проект)

Answer 2

[freeExec]

https://github.com/openvenues/libpostal

Comments

[Владимир Коротенко]

Как вариант конечно, но еще и 3 язык подтягивать. Спасибо в общем гляну идеи, попытаюсь их переосмыслить