Как спрасить динамическую таблицу на Python?

Question

[SHADRIN]

Привет всем
Как спарсить динамическую таблицу?
https://www.sslproxies.org/
Парсил через selenium

Answer 1

[Ivan Yakushenko]

Плохо парсил

In [6]: len(html.xpath('.//table[@id="proxylisttable"]/tbody/tr'))
Out[6]: 100

requests, lxml
Если сильно нужно использовать selenium, то отключи javascript

Comments

[SHADRIN]

Классно, все работает классная наводка на отключения js
Есть еще один сайт не подскажешь каким способом его парсить?
https://www.proxy-list.download/HTTP
Простое отключение все ломает там вроде ajax только я не понимаю как его парсить(

[Ivan Yakushenko]

Маска,

In [1]: import requests

In [2]: r = requests.get('https://www.proxy-list.download/api/v0/get?l=en&t=http')

In [3]: r_json = r.json()

In [4]: len(r_json[0]['LISTA'])
Out[4]: 1180

In [5]: r_json[0]['LISTA'][0]
Out[5]:
{'IP': '103.42.162.30',
 'PORT': '8080',
 'ANON': 'Transparent',
 'COUNTRY': 'India',
 'ISO': 'IN'}