Как спарсить имена всех пользователей в vk?

Question

[mrgloom]

Как можно спарсить имена всех пользователей в vk за приемлемое время?

Сейчас я делаю парсинг с помощью selenium и это не очень быстро.

1.Как можно предотвратить загрузку всей страницы, а загружать только нужную информацию(что должно сократить трафик и ускорить загрузку).
2.Насколько поможет переписывание запросов в несколько тредов, есть ли какие то ограничения со стороны сервера?
3.Насколько реально поддерживать информацию в актуальном виде, т.е. какое будет запаздывание между двумя полными проходами по всем id? И как определить последний id?

Answer 1

[Сергей Краснодемский]

Пишите парсер на любом ЯП который знаете, через VK api перебирая id забирайте имена.
Или поищите может кто продаст базу с нужными вам данными, ВК (и не только он) уже вдоль и поперек распарсен. Последнее могу устроить.

Comments

[mrgloom]

Так я чисто из академического интереса, мне не нужна готовая база.

вот вроде данный метод делает то, что мне нужно
https://vk.com/pages?oid=-1&p=users.get

но мне непонятны условия использования vk api, что значит 1000 за раз? это за сутки? в секунду? и что нужно чтобы зарегистрироваться? возможно ли сделать win приложение, а не приложение в браузере?

[Сергей Краснодемский]

> Так я чисто из академического интереса, мне не нужна готовая база
понятно

> но мне непонятны условия использования vk api, что значит 1000 за раз
до 1000 за запрос (в uuid передаете пакет пользовательских id)

> и что нужно чтобы зарегистрироваться?
нужно зарегистрироваться )
начните отсюда - https://vk.com/dev

> возможно ли сделать win приложение, а не приложение в браузере?
да, конечно - Standalone-приложение

[Scrypto]

1000 за один запрос (, перечисленные через запятую ID пользователей или их короткие имена (screen_name). Максимум 1000 пользователей.) Не более 3 запросов в секунду. Но если взять токен от лица оф. приложения того же Ipad, то можно 5ть зпросов. Дальше можешь в C# например создать класс обрабатывающий json, и писать в бд. 5000 чел. в сек. Если нужно что-то по конкретнее объяснить, могу подсказать пиши вк vk.com/scrypto

[Scrypto]

И да, конечно можно сделать win приложение.

[mrgloom]

@Scrypto Может покажете пример кода\standaloneприложения для C#? я так понимаю надо использовать это habrahabr.ru/post/216553 ?

[Scrypto]

Можно и это, но я все сам делал, мне так проще. Кусок кода могу. Но немного позже. А так пока погугли System.Runtime.Serialization.Json - Это чтобы ответы от вк сразу получать в нужном формате. webclent - Это чтобы отсылать и получать данные с вк. Ну и собственно сам api, там вообще ничего сложного.