Почему bs4 неверно парсит страницу?

Question

[Alena_Y]

Доброго времени суток, пытаюсь спарсить аватарку вконтакте, в качестве примера взяла Павла Дурова, часть кода следующая:

import bs4
import requests

def getting_avatar(id):
request = requests.get("https://vk.com/id" + id)
b = bs4.BeautifulSoup(request.text, "html.parser")
print(b)

getting_avatar(1)

Проблема состоит в том, что страница по адресу Павел Дуров | ВКонтакте содержит около 2500 строк, среди которых как раз-таки нужный тег с требуемым id = profile_photo_link, а результат ...

Answer 1

[Alena_Y]

Вопрос решила, можно сделать вот так:

import urllib
from selenium import webdriver
import random
import urllib.request

url = input()
driver = webdriver.Chrome()
driver.get(url)
with open('filename.png', 'wb') as file:
file.write(driver.find_element_by_xpath('//*[@id="profile_photo_link"]/img').screenshot_as_png)
driver.close()

Answer 2

[Сергей Карбивничий]

import requests
from bs4 import BeautifulSoup
import json

response = requests.get('https://vk.com/id1')

soup = BeautifulSoup(response.text,'html.parser')
avatar = soup.find('div',id='page_avatar').a.get('onclick')
json_raw = avatar[avatar.find('{'):avatar.rfind('}')+1] #Здесь вытаскивает json
json_data = json.loads(json_raw)
print(json_data['temp']['x']) # Получаем из json url аватарки

requests не умеет javascript.

Comments

[Alena_Y]

А каким путем тогда пойти?

[Сергей Карбивничий]

Alena_Y, Или vk api или selenium.

[Alena_Y]

Сергей Карбивничий, спасибо, попробую селениум, но все же, на странице Дурова id="profile_photo_link" (строка 255) находится в теге div, который находится в теге aside, а тот, в свою очередь, в body, там вроде нет js

[Сергей Карбивничий]

Alena_Y, Посмотрел, можно спарсить. Щас.

[Alena_Y]

Сергей Карбивничий, попробовала, возбуждает ошибку: AtributeError: "Nonetype" object has no attribute "a"

[Сергей Карбивничий]

Alena_Y,

[Alena_Y]

[Сергей Карбивничий]

Alena_Y, Может вк вам капчу отдает? Попробуйте выполнить данный код, потом откройте в браузере index.html:

import requests

response = requests.get('https://vk.com/id')

with open('index.html','w') as file:
	file.write(response.text)

[Alena_Y]

Сергей Карбивничий, код выполняется без ошибок, а сайт www.index.html не найден

[Сергей Карбивничий]

Alena_Y, Да нет. В папке со скрипом должен появится файл index.html

[Alena_Y]

А, точно, прошу прощения, вот его содержимое:

[Сергей Карбивничий]

Alena_Y, Я сделал ошибку. Вместо vk.com/id нужно vk.com/id1

import requests

response = requests.get('https://vk.com/id1')

with open('index.html','w') as file:
  file.write(response.text)

[Alena_Y]

что-то не так с кодировкой
response.encoding = "utf-8" не помогло

Answer 3

[Guerro69]

Попробуйте спарсить картинку обратясь к методу вк:
https://api.vk.com/method/users.get?user_ids=1&fie...