Как парсить комментариев vk по ключевому слову?

Question

[MrBigAnt]

Провожу исследование образа города в социальных сетях. Необходимо собирать корпус комментариев из городских сообществ разных городов. Комментарии собираются по ключевому слову в промежутке 01.10.2019-01.10.2020.
1) Использовал классические парсеры (targethunter, barkov.net, pepper.ninja). Ни один не выполнил запрос правильно. Лучше всего справляется pepper.ninja - он собирает комменатрии с 01.10.2019 - 01.05.2020 и с 23.09.2020-17.11.2020. В промежутке между маем и сентябрем какая-то черная дыра.
2) Использовал VK API. С натяжкой подходит единственный метод - wall.search. Метод выдает непозволительно маленькое количество комментариев. К примеру, в городском "Подслушано" со словом "Пермь" собрал 2000 комментариев. Последний комментарий тоже в сентябре 2020. Происходит какой-то баг, а тех. поддержка говорит, что все нормально.

Возможно, кто-нибудь знает, в чем проблема? Какие методы вы бы использовали?

Answer 1

[Надим]

Я бы вообще не использовал API, а тупо напрямую прошелся бы по всем комментариям при помощи JavaScript-бота.

Answer 2

[lumpenkoder]

К примеру, можно спарсить все посты(точнее их айди и дату) из группы обычными средствами скраппинга, обработав дату, пройтись по этим постам методом wall.getComments, попутно выполняя нужную логику для комментариев.

Comments

[lumpenkoder]

либо уже в самом ответе от метода обрабатывать дату комментария