Парсинг сайта с использованием Selenium(PhantomJS)?

Question

[Andrey Ovchinnikov]

Всем шалом.Дело такое, решил спарсить ссылки на Live матчи с сайта https://gg11.bet/ru/betting/?matchStatuses=LIVE. Подсказали, что для работы в фоновом режиме можно использовать Selenium(PhantomJS). Но проблема вот в чем:делаю скриншот браузера, а он показывает, что он не выполняет Java-скрипты и из-за этого ссылки спарсить не получается. Пробовал менять User-Agent - не помогает. Ниже прилагается класс с ботом

class Bot():  #Создаем класс бота
	def __init__(self):
		self.driver = webdriver.PhantomJS(desired_capabilities=dcap, executable_path=dictionary.PHANTOMJS_DIRECTORY) #Создаем драйвер браузера
		self.driver.set_window_size(1024, 768)
		self.navigate()

	def take_screenshot(self):
		self.driver.save_screenshot('сайт.png')

	def navigate(self): #Главная функция по автоматизации бота
		try:
			self.driver.get(dictionary.URL) #Здесь урл
			sleep(5)
			links = self.driver.find_elements_by_xpath(dictionary._XPATH) #Здесь он находит все ссылки
		except:
			self.driver.close() #Если вылезла ошибка - закрывает браузер
		else:
			for link in links: #печатает все ссылки(Links - список)
				print(link.get_attribute("href"))

Я знаю только то, что ничего не знаю.©Сократ

Answer 1

[Ambrosian]

Подсказали, что для работы в фоновом режиме можно использовать Selenium(PhantomJS).

Селениум - это громоздко и избыточно и совершенно бессмысленно. Только ресурсы жрутся.

Нужно SlimerJS или PhantomJS

И да - это программируется на JavaScript

P.S.:
Пишется JavaScript, а не Java-скрипт.
Скрипт на Java - это другое.

Comments

[Andrey Ovchinnikov]

Понял. Спасибо за совет!