Работал над кодом для парсера двух страниц:
url_1 = f'
https://steamcommunity.com/market/listings/{game}/{name}'
Пример:
https://steamcommunity.com/market/listings/440/Man...
url_2 = f"
https://steamcommunity.com/market/itemordershistog..."
Пример:
https://steamcommunity.com/market/itemordershistog...
Для работы использовал прокси из библиотеки proxybroker2 с настройками
[("HTTP", ("Anonymous", "High")), ("HTTPS", ("Anonymous", "High"))]
Но даже так иногда выпадают прокси с меньшей анонимностью , но это не к вопросу.
В конечном итоге на практике выяснил , что прокси могут дать 200 результат не с первой попытки , и поэтому обычно отвожу на 1 прокси по 3 попытки , после чего меняю прокси.
Там же увидел эту часто повторяющуюся ошибку:
Cannot connect to host steamcommunity.com:443 ssl:True [SSLCertVerificationError: (1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:992)')]
Попробовал отключить SSL сертификат , в моем случае при использовании async используется параметр ssl=False.
Количество запросов с ответом != 200 значительно снизилось. Приблизительно в 3 раза.
Если ранее на 1 успешный запрос приходилось ~18 провальных , то теперь порядка 6.
В конечном счете вопрос : чем для меня , человека использующего пк в своей домашней сети , и делающего запрос только на 2 конечные точки , меняя лишь данные по типу имени и name_id , в запросе отправляющем 0 информации о каких-либо логинах паролях и прочих данных за исключением статично настроенных headers , а после принимающим обычный text и делая вычисления на его основах , опасно отключение SSL?
Я вижу лишь призрачный сценарий того , что кто-то подменит данные на страницы так , чтобы мой код вызвал ошибку из-за другой структуры данных или подсчитал что-то неправильно .
Единственные опасения в целом возникают только к прокси , которые являются общедоступными , ведь именно через них я делаю запросы и отключаю SSL.
Может знающий человек подсказать , чем в итоге может закончиться моя история с таким подходом к парсингу , и не словами "это не безопасно" , а конкретно чем? Я же не вирус себе скачаю через async with session.get
Очень плох в этой теме , буду рад выслушать вас!
