Yunow
@Yunow
Профессионально шучу про tensorflow

Как получить html VK по запросу на поиск(он генерируется JS)?

Есть запрос
https://vk.com/feed?c%5Bq%5D=*id1234&c%5Btype%5D=1...
с помощью которого можно получить список комментариев человека.
Нюанс в том, что html страница в данном случае генерируется и мой парсер получать в ответ страницу поиска, без ответа:
import lxml.html
import requests

login = '1234'
password = '1234'
url = 'https://vk.com/'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0'}
session = requests.session()
data = session.get(url, headers=headers)

page = lxml.html.fromstring(data.content)

form = page.forms[0]
form.fields['email'] = login # авторизируюсь
form.fields['pass'] = password

response = session.post(form.action, data=form.form_values())

r = session.get('https://vk.com/feed?c%5Bq%5D=*id1234&c%5Btype%5D=1&section=search', cookies={'from-my': 'browser'})
#print('onLoginDone' in response.text)
print(r.text)
with open('test.html', 'w') as output_file:
  output_file.write(r.text.encode('cp1251'))


Почитал в интернете, что эти библиотеки не совсем подходят для таких задач. Какие лучше использовать и как?
  • Вопрос задан
  • 168 просмотров
Пригласить эксперта
Ответы на вопрос 1
@freelion93
Вам не нужно парсить. Есть библиотеки для работы с VK API.
Со стены например можете взять коментарии следующим образом
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы