Как спарсить людей состоящих в группе во вконтакте?
Здравствуйте, вопрос, возможно, не обычен для данного ресурса, но все же.
Пишу парсер, хочу получить данные о людях состоящих в группах ВК. Не знаю как быть. Использовал несколько способов:
1) Скачивал DOM документ и парсил его код, но все идет через JavaScript, так что этот способ не дал спарсить более 20 - 30 людей, которые видны изначально. Использовал WebClient способ, метод DownloadString.
2) Работал с библиотекой SeleniumHQ. ( Все делает программа) Конкретно: запускаю браузер, открываю страницу с участниками группы, начинаю скроллить вниз, дабы JS показал мне всех участников группы, долетаю до максимальной глубины и с помощью CSSSelector'ов забираю нужные мне данные, но ОПЯТЬ ЖЕ НЕТ. ВК не дает мне посмотреть более 901 участника группы( Я же хочу и 100к и 1кк ). Как быть не знаю, если есть способ получить информацию о участниках группы(хотя бы их ID), то, пожалуйста, напишите.
Так же, если у вас на памяти ресурсы где можно подробно узнать о многопоточности и асинхронной загрузке/скачиваю, то скиньте в ответ, пожалуйста.
Заранее, всем спасибо за помощь. P.s. С VK API не разобрался, как понял оно требуется для реализации софта для пользователей ВК.
Конечно, надо использовать API ВКонтакте. Разберитесь, это несложно. Вам понадобится метод groups.getMembers().
Выкладывал на github пример скачивания списка Участников групп ВКонтакте. Демо. Там используется web worker для скачивания, учитывается лимит в 3 запроса в секунду. Запросы группируются в пачки по 25 в метод execute() для скорости скачивания списков Участников крупных групп.
параметр fields метода groups.getMembers() позволяет вернуть не только id, а и другие данные о пользователях, поэтому дополнительно вызывать users.get() нет необходимости.
Простой
