Как спарсить профили вк по критериям из глобального поиска?

Question

[Андрей Луцюк]

Возможно ли спарсить всех зарегистрированных пользователей по критериям, к примеру, город Москва, возраст 20-30, любой пол. И т.д.
(существуют ли сервисы для этого?)

Answer 1

[Roman K]

Да

Answer 2

[Евгений Перин]

В вк апи есть ограничение 1000 юзеров. То есть 1000 ты спарсишь и всё. Можно обойти перебрром параметров, типа сначала 20-21, 21-22, 22-23 года и так далее. Везде по 1000 результатов. Так же перебирать другие параметры, пол, статус, сортировку по популярности или по дате... Другого способа обойти лимит в 1000 я не знаю.

Comments

[riot26]

>Другого способа обойти лимит в 1000 я не знаю.

хранимые процедуры и execute увеличат лимит до 25к

[Roman K]

Разве там не offset/limit?

[Pablo]

riot26: riot26: Обратите внимание — даже при использовании параметра offset для получения информации доступны только первые 1000 результатов.

[riot26]

Павел Громадчук: с помощью хранимых процедур или execute можно делать 25 запросов к АПи за 1 раз. Делаем процедуру, которая 25 раз в цикле возьмёт по 1000, подставляя нужный offset. Вызываем её и получаем 25к

[Евгений Перин]

riot26: Обратите внимание — даже при использовании параметра offset для получения информации доступны только первые 1000 результатов
Может вы неправильно понимаете, но offset не даст вам следующие 1000 результатов

[riot26]

Евгений Перин: ну не знаю, с участниками группы получалось

[Евгений Перин]

riot26: не путайте людей, это разные вещи. Нужно внимательно прочитать документацию...

[riot26]

Евгений Перин: извиняюсь, не знал что у вк такой нелогичный апи)