Как получить список всех физических адресов с сайта?

Question

[weranda]

Приветствую

Интересует алгоритм получения всех возможных адресов с сайта из формы. Как это вообще реализуется, какими приемами, методами и пр?

Есть форма, вот она. Там есть переключатель – "По адресу". При вводе в форму названия улицы, выводится список похожих или точных названий улиц, но там собрано много адресов (улица, дом, корпус и пр.). Как можно "выдернуть" оттуда все возможные адреса? Разумеется, не имея прямой доступ к файлам и базам данных сайта.

Answer 1

[Алексей]

www.gnivc.ru/inf_provision/classifiers_reference/kladr - оно?

Comments

[weranda]

Алексей Не оно) Я имею ввиду конкретный сайт со списком адресов, доступных именно у него. Т.е. может быть другой сайт примерно с такой же формой, но там будет в два раза меньше адресов и некоторые из них будут отличаться от списка адресов, размещенных на другом сайте.

[Алексей]

Ок, но вы все же присмотритесь к КЛАДР, все же всероссийский классификатор адресов.
То, чего в нем нет - не существует (шутка, конечно).
При желании можно и указанный сайт распарсить, только нужно поработать немного - перебирать сначала буквы по одной, если выдача ограничена - то потом по две - "аа", "аб", "ав"...

[weranda]

Только методом перебора этих адресов через форму? Может быть другие варианты есть, чтобы можно было сразу весь список получить или заключение окончательное и обжалованию не подлежит?

[Алексей]

Почему же не подлежит, я не истина в последней инстанции.
Посмотрим, может кто что предложит.

[Алексей]

Если что, то достаточно по буквам пройтись, это можно сделать даже вручную - https://requestmgts.ssl.mts.ru/AddressPon/GetStree...

[Алексей]

Да и то достаточно "у" (улица), "п" (переулок) и тд. Дома придется перебирать уже через улицы и шаблоны "1" - "9" - https://requestmgts.ssl.mts.ru/AddressPon/GetHouse...

[weranda]

Алексей Я в этом слабо разбираюсь. Спасибо за консультацию) По вашим оценкам, сколько примерно может стоить работа по выкачке всех этих данных, их группировке и создания такой же формы по вытянутым данным на своем сайте?

[Алексей]

Не могу ничего сказать по цене, извините.
Если ваша цель просто в подстановке адреса, то есть уже готовые сервисы, в том числе и бесплатные типа kladr-api.ru/examples
Если у вас цель - конкретно GPON, то либо действительно парсить, либо скопировать форму и в своих скриптах делать запросы к МГТС, пока не забанят по IP адресу.

[OVK2015]

weranda:
Названия улиц там привязаны к названиям городов. Если для России,- тогда действительно проще КЛАДР разбирать.