Работал над кодом для парсера двух страниц:
1.
url_1 = f'https://steamcommunity.com/market/listings/{game}/{name}'
Пример:
https://steamcommunity.com/market/listings/440/Man...
2.
url_2 = f"https://steamcommunity.com/market/itemordershistogram?country=NL&language=russian¤cy=5&item_nameid={nameid}&two_factor=0"
Пример:
https://steamcommunity.com/market/itemordershistog...
Для работы использовал прокси из библиотеки proxybroker2 с настройками:
[("HTTP", ("Anonymous", "High")), ("HTTPS", ("Anonymous", "High"))]
Но даже так иногда выпадают прокси с меньшей анонимностью, но это не к вопросу.
В конечном итоге на практике выяснил, что прокси могут дать 200 результат не с первой попытки, и поэтому обычно отвожу на 1 прокси по 3 попытки, после чего меняю прокси.
Там же увидел эту часто повторяющуюся ошибку:
Cannot connect to host steamcommunity.com:443 ssl:True [SSLCertVerificationError: (1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:992)')]
Попробовал отключить SSL сертификат, в моем случае при использовании async используется параметр
ssl=False.
Количество запросов с ответом != 200 значительно снизилось. Приблизительно в 3 раза.
Если ранее на 1 успешный запрос приходилось ~18 провальных, то теперь порядка 6.
В конечном счете вопрос: чем для меня, человека использующего пк в своей домашней сети, и делающего запрос только на 2 конечные точки , меняя лишь данные по типу имени и name_id, в запросе отправляющем 0 информации о каких-либо логинах паролях и прочих данных за исключением статично настроенных headers, а после принимающим обычный text и делая вычисления на его основах, опасно отключение SSL?
Я вижу лишь призрачный сценарий того, что кто-то подменит данные на страницы так, чтобы мой код вызвал ошибку из-за другой структуры данных или подсчитал что-то неправильно .
Единственные опасения в целом возникают только к прокси, которые являются общедоступными, ведь именно через них я делаю запросы и отключаю SSL.
Может знающий человек подсказать, чем в итоге может закончиться моя история с таким подходом к парсингу, и не словами "это не безопасно", а конкретно чем? Я же не вирус себе скачаю через async with
session.get
Очень плох в этой теме, буду рад выслушать вас!
Простой
Средний
