Как парсить vk.com на node.js?

Question

[Илья Фёдоров]

Здравствуйте!
Хочу на node.js с помощью cheerio получить ссылки с короткими именами групп (встреч) на сайте vk.com.

Скрин веб-страницы

Вот ссылка (позднее собираюсь подставлять в нее свое значение переменной city): https://vk.com/groups?act=catalog&c%5Bcity%5D=96&c...
Если ее декодировать получим: https://vk.com/groups?act=catalog&[city]=96&[count...

Имею следущий код:

var website_url = "https://vk.com/groups?act=catalog&c%5Bcity%5D=96&c%5Bcountry%5D=1&c%5Bsection%5D=communities&c%5Bskip_catalog%5D=1&c%5Bsort%5D=1&c%5Btype%5D=3";

request({
    uri: website_url,
    method:'POST',
    encoding:'binary'
}, function (error, response, html) {
    if (!error && response.statusCode == 200) {
        var $ = cheerio.load(html);
        $('.labeled.title').each(function(i, elem){
            var a = $(this).children();
            var url = a.attr('href');
            console.log(url);
        });
    } else if (error) {
        console.log(error);
    }
});

С помощью подобного кода у меня получается брать данные с других сайтов, например CNN, но от ВКонтакте (или facebook) результатов 0.

Нужен ли мне access token и куда его подставлять? Как правильно делаются подобные запросы? Какого вида использовать ссылку для запроса?

Заранее большое спасибо!

P.S. в VKAPI нужного метода нет, а список встреч по городу получить надо)

Answer 1

[Виктор]

https://vk.com/search?c%5Bcity%5D=123&c%5Bcountry%...

Попробуйте использовать другую ссылку. Тут не нужно ни авторизации ни токетов.
Парсится чем угодно и как угодно

Comments

[Илья Фёдоров]

Спасибо! Ваша ссылка (https://vk.com/search?) мне помогла. :)
Код оставил прежним, заменил только ссылку.

Answer 2

[Александр Аксентьев]

P.S. в VKAPI нужного метода нет, а список встреч по городу получить надо)

https://vk.com/dev/groups.search

Comments

[Илья Фёдоров]

Да, но параметр "q" является обязательным, а мне необходимо получить список всех встреч по городу, независимо от поискового слова.

[Александр Аксентьев]

Илья Фёдоров: безвыходная ситуация

[Виктор]

Если обязательный, то делаем цикл и перебираем алфавит сохраняя результаты

[Илья Фёдоров]

Виктор: просто буквы алфавита не подойдут, разве что предлоги, союзы...(в, и, от, за, до, день, фестиваль и т.п.), но все равно таким образом абсолютно все результаты не получить, так еще к тому же ограничение 3 запроса/сек. Неужели и в самом деле, невозможно никаких спарсить данные?)
P.S. если бы я имел массив коротких имен, то смог бы получить всю инфу о сообществах методом groups.get() из VKAPI.

[Виктор]

Илья Фёдоров: https://vk.com/search?c%5Bcity%5D=123&c%5Bcountry%...
А чем вот это нерабочая ссылка?

Парсите сколько угодно и чем угодно.

[Александр Аксентьев]

Илья Фёдоров: просто скоро вы поймёте что поиск и апи не выдают больше 1000 результатов(даже с оффсетом), и всё равно чтобы спарсить полный список надо использовать фильтры и строку поиска, дабы сегментировать результаты, чтобы в выборке не выходило больше 1000 позиций на каждый набор параметров.

[Илья Фёдоров]

Александр Аксентьев: Ох, да...в документации читал, но не думал, что это распространяется на поиск.
P.S. взял безголовый браузер, прокрутил страницу до футера, спарсил данные, а их все равно 1000 :(