Ivan Yakushenko

В блоке <script id="json-extras" type="application/json"> вся нужная тебе информацию представлена в формате JSON:

Можешь хоть регуляркой вытягивать этот JSON, преобразовывать его в словарь Python и доставать нужные тебе данные.
Так получается, потому что все элементы на странице рендерятся JS'ом, а requests не умеет интерпретировать JS-код, по-этому исходный код отличается от конечного, который отображается в твоём браузере. Проверить то, какой изначально страница представляется до отработки JS можешь так, как подсказал Gennady S

Автоматизация процесса парсинга. Вместо того, что бы самому писать логику многопоточности, перехода по страницам, обработку/хранение данных и прочее, можно использовать Scrapy, который деляет это все из коробки.

Никак. Все данные в мессенджер приходят через вебсокет, на странице ничего не хранится, с буфером обмена Selenium не работает.

soup.find_all('a', class_='name')[1:]
Тут уже возвращаются элементы целиком, со всеми атрибутами и текстом:

<a class="name" href="https://vk.com/stusha45" target="_blank">Стюша Сергеева</a>
<a class="name" href="https://vk.com/id209266081" target="_blank">Юлия Сухова</a>

Соответственно тебе не нужно повторно искать их, просто взять нужные значения из каждого элемента:

for item in items:
    item_data = {
        'title': item.get('href'),
        'name': item.text
    }
    print(item_data)

{'title': 'https://vk.com/stusha45', 'name': 'Стюша Сергеева'}
{'title': 'https://vk.com/id209266081', 'name': 'Юлия Сухова'}

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions


driver.get('https://rublix.best/')
history_xpath = './/div[@class="history-wrapper"]//div'
WebDriverWait(driver=driver, timeout=15).until(
    expected_conditions.presence_of_element_located((By.XPATH, history_xpath))
)
for elem in driver.find_elements_by_xpath(history_xpath):
    print(elem.get_attribute('textContent'))

Вывод:

1.22
1.52
4.94
4.25
3.26
1.71
12.16
1.56
1.30
1.18
2.58
1.46
1.91
1.17
4.63
5.01
0
1.44
7.05

Перейди во вкладку Initiator и смотри какие JS функции отрабатывают как для самого метода login, так и перед ним. Вероятнее всего в какой то момент сервер передает на клиент ключ, который используются для логина, но при этом нигде не сохраняется.

urllib или requests

Цены на стиме подгружаются из API, по таким ссылкам, в ответе JSON, в котором есть ключи lowest_sell_order и highest_buy_order нужные тебе. ID товара хранится в другом JSON, который есть на странице по ссылке, котрую ты написал в вопросе.

ban.GetAttribute("innerHTML"); попробуй

Универсальных решений ты не найдешь. Обычно подобное делается примерно так: берешь N сайтов, на основе их пишешь регулярное выражение (1, или несколько), скрипт заходит на все 3000 сайтов, ищет регулярным выражением на главной странице и на /contacts нужную информацю, сайты на которых не находит - в отдельный список. Берешь еще N сайтов из "неудачного списка", пишешь регулярки для них, и так повторяешь процедуру пока не выгребешь все контактные данные. Естественно это все исполнимо, если владеешь в достаточной степени каким-то ЯП, в регулярках ничего сложного нет.

Большая часть всех прокси которые есть в открытом доступе давным давно в черных списках большинства крупных сайтов, так что 90% блоков - вполне справедливо.
Лично я много раз пользовался luminati - у них есть API, через который ты делаешь запросы к сайту, каждый запрос с новым IP. Называется эта услуга у них "Data Center", стоит всего 0.50$ за 1GB трафика переданного через них, при регистрации и привязки карты получаешь бонусные 5$, так что можешь попробовать.

from random import choice

soup = BeautifulSoup(r.text, "html.parser")
elems = soup.findAll(attrs={'class': 'rg_meta notranslate'})
pic = loads(choice(elems).text)['ou']

Плохо парсил

In [6]: len(html.xpath('.//table[@id="proxylisttable"]/tbody/tr'))
Out[6]: 100

requests, lxml
Если сильно нужно использовать selenium, то отключи javascript

result = {}
for item in html.xpath('.//td/b/../following-sibling::td'):
    result[item.xpath('preceding-sibling::td')[0].text_content().strip()] = item.text_content().strip()

А просто так написать строчку типа

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.74 Safari/537.36'}

не судьба?

Руками.
Вот пример для той-же кнопки:
.//a[contains(@class, "btn_add-question")]
Подучить синтаксис и посмотреть примеры можно тут и тут.