Как спарсить всех пользователей Хабра?

Question

[Михаил]

Возникла идея собрать некоторые статистические данные, но для этого нужно спарсить всех активных (не read only) пользователей Хабра. Только пока не могу придумать за что зацепиться. URL страницы каждого пользователя содержит в себе ник пользователя ( habrahabr.ru/users/username/ ), а вот как его получить - проблема. Думал как-то достучатся через ID, но не нашел где можно подсмотреть ID пользователя и как его потом использовать.
У кого-то есть идеи?

Answer 1

[D']

В гугле: site:habrahabr.ru/users/
>Результатов: примерно 732 000 (0,54 сек.)

Выцепляем от туда ники. Костыль.

Чтобы хабр дал API, им нужно отписать и объяснить зачем оно вам.

Comments

[Михаил]

Может и костыль, но делает он то что нужно. Спасибо! Почему-то про гугл даже не подумал.

[⚡ Kotobotov ⚡]

Михаил: нужно понимать что гугл тоже не отдаст все результаты, только несколько тысяч

[Михаил]

дима кубитский: Тут хотя бы ясно в каком направлении копать.

[D']

дима кубитский: ну если извернуться, то можно все вытащить. Просто это тот еще костыль, и проще отписать хабру, чтобы дали апи.

[⚡ Kotobotov ⚡]

D' Normalization: есть метода хитрее: посмотреть айдишник приложения в вк которое авторизует людей на хабре и потом по этому айдишнику спарсить всех пользователей. Задача изи вобще.

Answer 2

[kuzkok]

На гигтаймс как-то рассказывали про сбор статистики хабра geektimes.ru/post/145045