@BeryWolf
Начинающий программист

Почему я не могу получить некоторые блоки с страницы с помощью Python?

Добрый день, столкнулся с такой проблемой.
Пишу парсер для сайта и мне нужно выводить все свежие новости, которые появляются на странице, с первым блоком все хорошо, но когда пытаюсь получить новость с нижнего блока (менее интересные новости) парсер просто его не видит. Можете помочь?
import urllib.request
import bs4
from bs4 import BeautifulSoup
import requests
from selenium import webdriver
import time
import datetime
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'}


now = datetime.datetime.today()
i = 1
prev = "11111111111"
prev2 ="11111111111"

ua = dict(DesiredCapabilities.PHANTOMJS)
ua["phantomjs.page.settings.userAgent"] = hdr
browser = webdriver.PhantomJS(desired_capabilities=ua)
browser.get("https://blog.coinbase.com/")

soup = BeautifulSoup(browser.page_source)
# a = soup.find("a", class_="u-block u-width140 u-height120 u-floatRight u-marginLeft30 u-xs-size80x80 u-backgroundCover u-borderLighter")
div2 = soup.find("div", class_="u-fontSize24 u-xs-fontSize18")
print(div2)


Сайт: https://blog.coinbase.com/
Ссылка на новость которую получается вывести: https://blog.coinbase.com/upcoming-story-about-coi...
Ссылка на новость которую не получается вывести: https://blog.coinbase.com/coinbase-pro-disables-ma...
  • Вопрос задан
  • 51 просмотр
Пригласить эксперта
Ответы на вопрос 1
@galaxy
Потому что они догружаются через AJAX.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы