Если я добавляю в терминал curl команду и запускаю эту команду, то получаю все DOM дерево сайта.
curl -H "Host: www.site.com" https://162.218.138.176 -k
Когда я переписал это curl запрос на Python код, то у меня появляется ошибка, которую я не могу решить. Тогда, как спарсить сайт, имея host и ip самого сайта?
Код:
import requests
headers = {
'Host': 'www.site.com',
}
response = requests.get('https://162.218.138.176', headers=headers, verify=False)
Ошибка:
InsecureRequestWarning: Unverified HTTPS request is being made to host '162.218.138.176'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/1.26.x/advanced-usage.html#ssl-warnings
