Что бы вы хотели увидеть в сервисе ФИАС?

Question

[Владимир Коротенко]

Неспешно пилю сервис ФИАС , не официальный а свой. Что бы вы хотели видеть в нем. Реализованной на net core, соответственно будет работать на Debian и windows . Поддерживаемые базы Postgres MySQL MS SQL. На данный момент зареверсил их схемы что бы сэкономить место, реализовал загрузчик, куски старого кода для rest запросов, выводящие страну регион, город.

То что хочу реализовать это пропуск ненужных данных например нормативных документов, квартир и прочего стафа.

В общем делитесь своими соображениями что для вас нужно.

UPD.
Основной репозиторий, в дальнейшем будет дополняться
https://github.com/vkorotenko/FiasServer

Связанный репозиторий, офлайн парсер адресов, размер на диске ~180 мб. Размер в памяти ~600 мб.
https://github.com/vkorotenko/NAddressParser

Поддерживаемые фреймворки

• netstandard1.3
  
• netstandard2.1
  
• net45
  
• net46
  
• net472
  
• netcoreapp1
  
• netcoreapp2
  
• netcoreapp3
  
• netcoreapp3.1
  

В общем движемся потихоньку, В первом вообще все близко к заглушкам.
Реализован загрузчик файлов с версиями.
Парсер и загрузчик в базу, пока только словари

Во втором вся логика до улиц, к сожалению текущий проект содержит более новые адреса, поэтому перешел к нему.

UPD. Ну что же импорт завершен.
Сейчас в планах добавление плагина для MySQL и морды для запросов.
Стек примерно такой .NET Core REST api, swagger в качестве документации интерфейсов.

На первое время статический список пользователей и админов, vuejs + bulma в качестве интерфейса

UPD: 3
Так на сегодня добавлен клиент на vue Identityserver4 немного заглушек. В общем начинаю все собирать к проду.
Кому нужны области и города, это уже присутствует.

Comments

[#]

а смысл? - по меньшей мере это надо поддерживать в актуальности
по плюшкам https://dadata.ru/ видел?
не то что бы вот прям пользуюсь, но поверхностно там вроде все что помыслить можно..
или есть резоны?

[Владимир Коротенко]

#, немного не подходит , там отдельный вопрос возник причём не один раз, с другой стороны у них есть фатальный недостаток

[#]

Владимир Коротенко, а актуальность? с официалки драть по тригерам?

[edward_freedom]

#, почему ты постоянно нарушаешь пункт 3.6?

[Иван Шумов]

Из опыта могу сказать что для поиска стоит использовать эластик или сфинкс и подготовленные данные. Сам по себе ФИАС в денормализованном виде - бесполезный мусор.

[Владимир Коротенко]

#, актуальность у них что около 10 дней, на нормальном сервере обработка всей выгрузки порядка 15 мин. Если пропускать что то быстрее

[#]

Владимир Коротенко, и резон? плюшек докинуть? попрямее запилить?

[Владимир Коротенко]

Иван Шумов, там чудес много, однако нормализация будет проходить при парсинге, так что запросы более менее терпимые,

[#]

Владимир Коротенко, ну удачи, и держите в курсе, я в юзеры )))

[Владимир Коротенко]

Первый прогон, по актуальной базе

1188,3088705    Process: 4326999
info: Fias.Loader.App[0]
      01.07.2020 13:55:33 End Address

AS_ADDROBJ_20200531_2dcd3a8b-abc4-41f3-b061-ef5b5c7f16c5.XML
Размер 3 376 455 248 байт

1188,0466652 Process: 4325999
1188,3088705 Process: 4326999
info: Fias.Loader.App[0]
01.07.2020 13:55:33 End Address

Итого при парсинге всех объектов время примерно 5 часов.
Если же пропускать дома и комнаты, то можно уложится в примерно час.
В общем интересно получается. К вечеру залью можно будет посмотреть

Answer 1

[Сергей П]

Посмотрите что предоставляет dadata. У них есть что можно повторить в своём сервисе, например, нормализация адреса.
Ещё прикольная штука для всякого рода голосовых помощников - это корреляционные выборки.
Поясню.
Пользователь разговаривает с ботом. В нём идёт речь о Париже или селе Ольховатка. Таких населенных пунктов сильно больше одного. Особенно Ольховаток. Однако какие-то ольховатки от пользователя в тысячах километров, а одна в десятке км. Какую из них скорее всего имеет в виду пользователь?

Итак, у нас есть несколько опорных адресов: домашний адрес пользователя из профиля, адреса последних запросов погоды от пользователя и т.д.
Теперь пользователь спрашивает где ближайшая пятёрочка в районе Ольховатки.
Мы ищем её в БД и по базе корреляций находим самые релевантные в порядке уменьшения релевантности. Предполагаем самую вероятную и, если у второй и третьей индекс релевантности слишком близок к первой, то уточняем: "это в таком-то-таком районе которая?", пользователь говорит, нет в в таком-то-другом.
Такой-то-другой район как отдельный адрес попадает в кеш POI пользователя и после очередного запроса Ольховатки в базе адресов мы выстраиваем их уже с новым индексом релевантности. Если снова на первом месте отвергнутый вариант, то пропускаем его и делаем следующее уточнение.

Написал сумбурно, но этого не хватает.

Вообще прикольно было бы иметь еще базу алиасов и синонимов топонимов.
Питер, Санкт-Петербург, Ленинград - это алиасы одного населенного пункта.

Comments

[Владимир Коротенко]

Это в принципе хорошее решение, тем более что работал с ним, но к сожалению только коммерческое. Распознавалки только сторонние.

Answer 2

[d-stream]

Кстати будет интересно пощупать функционал типа парсинга адреса есть например стрка адреса из выписки ЕГРЮЛ AS IS и надо ее "разложить" по KLADR/FIAS. По опыту работы с diadoc api - время от времени парсинг дает сбои. Притом очень жестокие с перекосом номера дома и т.п.
Если что - могу скинуть в личку реальный пример "ломающий" обе версии их парсера.

Comments

[Владимир Коротенко]

Отлично было бы. В профиле есть контакты

Answer 3

[freeExec]

В топку сетевые API - сделать автономное решение на sqlite.

Comments

[Владимир Коротенко]

12 гиговый файл? Интерфейсы то будут сможете сделать , но как это будет ворочаться?

[freeExec]

Владимир Коротенко, а в чём принципиальное отличие? С учётом пинга, я думаю локально будет быстрее работать.

[Владимир Коротенко]

freeExec, хотябы в том что севодня случилось неудачно отменил запрос, медитировал час пока сервер откатил. Но как я сказал не вопрос попробуете сами, тем более что базу можно импортировать не всю

[Hemul GM]

Делал себе без проблем. С индексацией очень быстро работает.

[freeExec]

Владимир Коротенко, это же реадонли система. проще заново всё импортнуть, чем пытаться откатить. ну и бекапы как бы перед изменениями ни кто не отменял.

[Владимир Коротенко]

freeExec, Я говорю сейчас о MSSQL. Решил немного структуру поправить. Оказалось что на жестком диске это плохая идея. Отменил, сервер сказал ок будем перестраивать.

UPDATE HOUSE
SET    
	HOUSENUM_IX = n.Id
FROM 
    HOUSE h
    INNER JOIN dbo.HOUSE_HOUSENUM n
        ON h.HOUSENUM = n.Name;

[d-stream]

Владимир Коротенко,

12 гиговый файл? Интерфейсы то будут сможете сделать , но как это будет ворочаться?

А второй этап начнется когда надо будет эти 12 гигов пересинхронизировать с изменившимся первоисточником...