Добрый день, столкнулся с такой проблемой.
Пишу парсер для сайта и мне нужно выводить все свежие новости, которые появляются на странице, с первым блоком все хорошо, но когда пытаюсь получить новость с нижнего блока (менее интересные новости) парсер просто его не видит. Можете помочь?
import urllib.request
import bs4
from bs4 import BeautifulSoup
import requests
from selenium import webdriver
import time
import datetime
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Accept-Encoding': 'none',
'Accept-Language': 'en-US,en;q=0.8',
'Connection': 'keep-alive'}
now = datetime.datetime.today()
i = 1
prev = "11111111111"
prev2 ="11111111111"
ua = dict(DesiredCapabilities.PHANTOMJS)
ua["phantomjs.page.settings.userAgent"] = hdr
browser = webdriver.PhantomJS(desired_capabilities=ua)
browser.get("https://blog.coinbase.com/")
soup = BeautifulSoup(browser.page_source)
# a = soup.find("a", class_="u-block u-width140 u-height120 u-floatRight u-marginLeft30 u-xs-size80x80 u-backgroundCover u-borderLighter")
div2 = soup.find("div", class_="u-fontSize24 u-xs-fontSize18")
print(div2)
Сайт:
https://blog.coinbase.com/
Ссылка на новость которую получается вывести:
https://blog.coinbase.com/upcoming-story-about-coi...
Ссылка на новость которую не получается вывести:
https://blog.coinbase.com/coinbase-pro-disables-ma... 
