Evgeniy _

Если вы откроете драйвером страницу и пойдете в консоль и вернете там navigator.webdriver;. Вы увидите, что, во-первых, такая переменная там присутствует, а во-вторых, она равна true;
Что-бы избавиться от нее, можно сделать так( пробовал на Chrome 74)
Добавьте в опции:

options.add_experimental_option("excludeSwitches", ["enable-automation"])

С этой настройкой - переменной webdriver в navigator уже не будет.

зы: чтобы убрать всплывающий бар - options.add_argument("--disable-infobars")

Так же некоторые проверяют на наличие переменной $cdc_blahblahblah. Ее тоже можно переназвать.

Пробуйте!

Попробуйте сделать так

from urllib.request import urlopen
import re
from bs4 import BeautifulSoup
Url = 'your_url'
pg = urlopen(Url)
sp = BeautifulSoup(pg)
script_tag = sp.find_all('script')
print(re.search("setVideoHLS\(\'(.*?)\'\)", str(script_tag[индекс элемента(script), где расположена искомая ссылка])).group(1))

Appium?

An extension library for adding Selenium 3.0 draft and Mobile JSON Wire Protocol Specification draft functionality to the Python language bindings, for use with the mobile testing framework Appium.

Вроде бы как достаточно выполнить
heroku run python myScheduledTask.py

Либо попробуйте APScheduler (с) https://devcenter.heroku.com/articles/clock-proces...

Я спрашивал к тому, что если выполняются какие то сценарии, то (как у нас устроено) на каждый сценарий мы поднимаем новую копию браузера. помимо прочего еще и избегаем давнишней лисиной проблемы с утечкой памяти.

У них даже в хелпе написано:

Restarting Firefox
Firefox's memory usage may increase if it's left open for long periods of time. A workaround for this is to periodically restart Firefox.

Можете так же попробовать использовать https://addons.mozilla.org/en-US/firefox/addon/ramback/ - чтобы очищать кэш/память, если есть реальная необходимость в течении 7 часов держать открытым браузер.

Либо поиграть с about:memory

Какие входные данные - такой и ответ:
У вас один реквест указан - юзайте selenium-requests

либо поднимать прокси

from browsermobproxy import Server
server = Server("path/to/browsermob-proxy")
server.start()
proxy = server.create_proxy()
from selenium import webdriver
profile = webdriver.FirefoxProfile()
profile.set_proxy(proxy.selenium_proxy())
driver = webdriver.Firefox(firefox_profile=profile)
proxy.new_har("гугл")
driver.get("http://www.гугл.рф")
proxy.har 
server.stop()
driver.quit()

На второй вопрос:

Создаете файл background.js, подставив свои значения:

var config = {
        mode: "fixed_servers",
        rules: {
          singleProxy: {
            scheme: "http",
            host: "%proxy_host",
            port: parseInt(%proxy_port)
          },
          bypassList: ["foobar.com"]
        }
      };

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "%username",
            password: "%password"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
            callbackFn,
            {urls: ["<all_urls>"]},
            ['blocking']
);

Затем создаете manifest.json:

{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    },
    "minimum_chrome_version":"22.0.0"
}

пакуете оба файла в zip, ie proxy_auth.zip

Затем подгружаете это все в драйвер:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_extension("proxy_auth.zip")

driver = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)

http://selenium-python.readthedocs.io/waits.html

Якоря расставить и все

from selenium import webdriver
from selenium.webdriver import DesiredCapabilities
from selenium.webdriver.firefox.firefox_binary import FirefoxBinary

binary = FirefoxBinary('C:\..\Firefox.exe')

firefox_capabilities = DesiredCapabilities.FIREFOX
firefox_capabilities['marionette'] = False

dr= webdriver.Firefox(firefox_binary=binary)

dr.get('https://directum.adm.yar.ru/Login.aspx')

python 3.5 selenium 3.0.2 firefox 46