Как получить список всех пабликов в контакте?

Question

[f1nef1ne]

Доброго времени суток!
Возник вопрос, каким образом можно получить список всех пабликов в ВКонтакте?
Вопрос возник после увиденнего сайта http://allsocial.ru/ на котором можно найти паблики даже по фильтру.
Есть ли какое-то готовое решение или идеи о том, как можно реализовать такой поиск?

Answer 1

[Илья]

Только что создал паблик, у него был айди 121 миллион что-то там. При помощи groups.getById за раз можно получить 500 групп. Благодаря execute за запрос можно получить 25*500, т.е. 12 500 групп. 3 запроса в секунду - 3*12500 = 37500 групп в секунду. Всего 122 миллиона групп - 122 000 000 делим на 37 500 = 3253 секунды или около часа работы. А если разделить на несколько пользователей, то вообще не вижу проблемы спарсить весь вк.

Answer 2

[littleguga]

Там показывает не все паблики. Только что проверил.

Скорее всего обычный crawler с добавление в базу.
Запускаем его ходить по всем пользователям инкрементально, и сканить их подписки. Если паблик есть в базе, игнорируем, если нету - добавляем.

Answer 3

[Andrei Vurtatov]

https://vk.com/dev/groups.getById
Перебираем все группы и складываем в базу с типом page

Answer 4

[Дмитрий Еремин]

https://vk.com/dev/groups.search
поиск по подстроке. Можно сделать поиск по q="". Но там вернет тыщи 2-3 пабликов
Можно перебором получить паблики для
q = "1"
q = "2"
q = "3"
...
q = "9"
q = "a"
...
q = "z"
q = "а"
...
q = "я"

Уникальные (которые встречаются первый раз) идентификаторы групп запоминаем. Вот вам и список пабликов Вк