Как получить html VK по запросу на поиск(он генерируется JS)?

Question

[Равик Морозов]

Есть запрос

https://vk.com/feed?c%5Bq%5D=*id1234&c%5Btype%5D=1...

с помощью которого можно получить список комментариев человека.
Нюанс в том, что html страница в данном случае генерируется и мой парсер получать в ответ страницу поиска, без ответа:

import lxml.html
import requests

login = '1234'
password = '1234'
url = 'https://vk.com/'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0'}
session = requests.session()
data = session.get(url, headers=headers)

page = lxml.html.fromstring(data.content)

form = page.forms[0]
form.fields['email'] = login # авторизируюсь
form.fields['pass'] = password

response = session.post(form.action, data=form.form_values())

r = session.get('https://vk.com/feed?c%5Bq%5D=*id1234&c%5Btype%5D=1&section=search', cookies={'from-my': 'browser'})
#print('onLoginDone' in response.text)
print(r.text)
with open('test.html', 'w') as output_file:
  output_file.write(r.text.encode('cp1251'))

Почитал в интернете, что эти библиотеки не совсем подходят для таких задач. Какие лучше использовать и как?

Answer 1

[freelion93]

Вам не нужно парсить. Есть библиотеки для работы с VK API.
Со стены например можете взять коментарии следующим образом

Comments

[Равик Морозов]

Я беру не со стены. Я беру из поиска по новостям по id пользователя. За один запрос я получаю список записей групп, где был упомянут id это человека. Через vk api можно только прогонять через все группы поиск по id человека. Это намного менее эффективно и долго