Множество однотипных запросов VK API?

Question

[shiroleer]

Приветствую. Необходимо сканировать стену группы (допустим первые 100 постов) на ключевые слова. Таких групп около штук 40, а ключевых слов около 20 штук. Итого получаем 800 запросов. Смотря на все это безобразие, было решено использовать метод execute, ибо использование 800 запросов wall.search приводило мой сервер к 504. Передаю в него вот такой код:

var posts = [];
        var keywords = Args.keywords.split(",");
        var i = 0;
        while(i <= keywords.length-1) {
            var requestPosts = API.wall.search({"owner_id": "-" + Args.group, "query": keywords[i], "count": 100});
            if (requestPosts.count > 0) {
                posts.push({"keyword": keywords[i], "posts": requestPosts.items});
            }
            i = i + 1;
        }
        return posts;

Первое время мне отдавало какой-никакой результат, а после таких вот 5 тестовых сканирований, контакт мне начал присылать пустые ответы. Даже их дебаггер на сайте возращал пустой массив. Отписал в тех. поддержку - лимиты на однотипные запросы. Итого вопрос: как мне решить мою проблему? Может у контакта есть незадокументированный язык поиска (например как у твиттера с его OR, - и т.д.)?
В любом случае спасибо.

Answer 1

[Александр Семенов]

Знакомая ситуация.
Для этого лучше не использовать API ВК из-за ректальных лимитов, предпочтительнее его спарсить без авторизации (но подойдет, только если группы открыты).
Однажды было необходимо спарсить в RSS, сделал так.
В подобном потоке можно искать необходимые слова.