Почему я не могу получить некоторые блоки с страницы с помощью Python?

Question

[Максим Соловьёв]

Добрый день, столкнулся с такой проблемой.
Пишу парсер для сайта и мне нужно выводить все свежие новости, которые появляются на странице, с первым блоком все хорошо, но когда пытаюсь получить новость с нижнего блока (менее интересные новости) парсер просто его не видит. Можете помочь?

import urllib.request
import bs4
from bs4 import BeautifulSoup
import requests
from selenium import webdriver
import time
import datetime
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities


hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'}


now = datetime.datetime.today()
i = 1
prev = "11111111111"
prev2 ="11111111111"

ua = dict(DesiredCapabilities.PHANTOMJS)
ua["phantomjs.page.settings.userAgent"] = hdr
browser = webdriver.PhantomJS(desired_capabilities=ua)
browser.get("https://blog.coinbase.com/")

soup = BeautifulSoup(browser.page_source)
# a = soup.find("a", class_="u-block u-width140 u-height120 u-floatRight u-marginLeft30 u-xs-size80x80 u-backgroundCover u-borderLighter")
div2 = soup.find("div", class_="u-fontSize24 u-xs-fontSize18")
print(div2)

Сайт: https://blog.coinbase.com/
Ссылка на новость которую получается вывести: https://blog.coinbase.com/upcoming-story-about-coi...
Ссылка на новость которую не получается вывести: https://blog.coinbase.com/coinbase-pro-disables-ma...

Answer 1

[galaxy]

Потому что они догружаются через AJAX.

Comments

[Максим Соловьёв]

А есть возможность как-то это обойти?

[galaxy]

Сделать самому AJAX запрос и спарсить ответ.

[Максим Соловьёв]

galaxy, понял, спасибо большое