Почему FireFox может скачать некий файл по https, а моя программа не может?
Есть Firefox 115.7.0 esr 64 bit под Windows 7 64 bit Rus. На неком сайте он под действием скрипта скачивает некий файл, URL этого файла виден в окошке, которое появляется по F12. Если этот URL скопировать на другую вкладку Firefox'а, то он спокойно откроется там, даже в приватном окне. Но если качать его Download Master'ом или своей программой, то получаю ошибку 403 Forbidden. Раньше такое бывало и с другими сайтами, но тогда это лечилось просто передачей Referer'а и/или User-Agent'а, а тут даже весь заголовок скопировал - не помогает. Кук нет, если верить окошку, которое появляется по F12.
Что сайту не нравится и как это выяснить?
а почему esr? это типа lts, корпоративно ориентированный что ли..
сам пользую обычный, esr всегда отстает по фичам, а с обычным не помню проблем..
хотя есть мелкие косячки, но это скорее на сайтах, заточенных больше под хромиум движок..
но esr там и подавно будет не лучшим решением
Чем больше знаю, тем лучше понимаю, как мало знаю.
Сайту не нравится запрос, отправленный ему на обработку.
Выяснять кропотливым разбором и сравнением всех тех данных, которые передаются удалённому серверу.
- Где мы находимся?
- Вы находитесь в корзине воздушного шара (с)
Это-то всё ясно. Вопрос в том, ЧТО именно ему не нравится и КАК это выяснить. Ну типа, запустил fiddler (если он с https работает), посмотрел туда, посмотрел сюда.
Ну можно сказать что доступ закрыт)
Если все заголовки скопированы включая Authorization то можно предположить что при генерации страницы для скачивания файла генерится ключ авторизации, скорее всего уникальный на каждую сессию. это легко проверить посмотрев на ссылки, если там меняется какой-то набор символов значит ключ находиться в самом url.
Второй вариант - проверка на ботов. тут сложнее, надо разбирать конкретно что где и как не нравится и почему не получается замаскироваться под браузер
именно так. И именно поэтому открывается даже в приватном окне и ТЕОРЕТИЧЕСКИ должен открываться любой программой. Expired там 2 часа, так что на этот счёт можно не париться. Однако вот почему-то не открывается.
проверка на ботов
Скорее на любопытных юзеров. От ботов обычно капча бывает.
надо разбирать конкретно что где и как не нравится
#, Ну, тайм-аут там явно не в тему. У меня СПЕРВА не качает, а потом в FireFox'е качает. UTC в Expired стоит Now()+2 часа, если только не для отвода глаз они его поставили.
#, Этот тоже не может :(
Зато Ваш совет всё равно не пропал даром - поставлю его, пожалуй, в качестве торрент-клиента, а то прежний забодал предупреждениями от д-ра Веба - всё время какую-то Adware установить пытается.
DWZ, ну сам так то как торент качалку на 99% и пользую...
посмотрите настройки - там есть возможность интеграции с основными популярными браузерам (расширения что ли? не помню) .. сам не использую, канал мощный, просто закачки тех же iso linux/windows и так идут в лет
Фух, поставил Fiddler - всё сразу заработало, удовлитворишись только User-agent'ом. Видимо, Fiddler привёл все запросы к общему знаменателю с точки зрения сертификатов, версии TLS и т.д.
Кстати, никто не подскажет, где в Fiddler'е посмотреть, с каким сертификатом и версией TLS программа пыталась обратиться к сайту ДО того, как Fiddler их подменил?
DWZ, поздравляю! .. сам и забыл про него. пожалуй ваши рассуждения верны. инфы о нем много, начиная с доков, заканчивая статьями на хабре, но не факт что свежими.
.. тогда еще мысль мелькнула, если у вас:
- не статический айпи, то у вас еще прокси провайдера
- не федеральный провайдер типа РОСТЕЛЕКОМ или ТТК, то может допущены упрощения в обработке браузерного и иного трафика..
.. тогда фидлер уровнял весь трафик к одному типу. а значит любой подобный инструмент может тоже самое. но надо ли так глубоко копать, это уже на ваше усмотрение ))
DWZ, еще точнее - сам даже не подумал в эту сторону ))
.. но не удержался бы от эксперимента..
.. если ваш провайдер предоставляет настройки прокси (выше говорил о transparent proxy) все браузеры, сторонние программы, и свои конечно же, посадить на прокси провайдера..
.. без фидлера, сравнить результат..
.. в общем случае, вроде фидлер не грузит систему сколько либо серьезно, но интересен диагноз в итоге )))
.. если ваш провайдер предоставляет настройки прокси (выше говорил о transparent proxy) все браузеры, сторонние программы, и свои конечно же, посадить на прокси провайдера..
.. без фидлера, сравнить результат..
DWZ, провайдеры обычно сами предоставляют настройки прокси в личном кабинете или вообще на сайте ))
но если нет, так нет.. (но вроде "пакет Яровой" ни кто не отменял )))
#, Кстати, у FDM обнаружился грешок - если в торрент-файле несколько серий фильма, а нужна только одна, остальные всё равно скачиваются в подкаталог ".unwanred", видимо, для раздач, что несколько напрягает
#, У меня тоже были нулевые размеры, но одна серия, которую я не заказывал всё-таки скачалась. Не исключено, что если бы я не прибил закачку, то со временем скачались бы и остальные.
Ещё и при удалении закачки оригинальный торрент-файл удаляет. Пусть и в Корзину, но всё-таки.
#, Так это я для других пишу, чтобы им потОм не было бы мучительно больно.
просто идеально устраивает
Так и меня устраивает, просто не идеально. По крайней мере, рекламу не суёт - ужЕ хлеб. А идеального нет - куда ни плюнь - компромиссы кругом. (Раньше бы сказал "хоть сам пиши", а теперь писать нет не ни сил, ни времени, ни желания, да и надоело на каждый чих велосипед изобретать, как Робинзон Крузо на необитаемом острове)
Простой
Простой