Чем отличается Windows 10 и Windows 2016 в плане нетворка?

Question

[Артем]

Столкнулся тут с пока необъяснимым для меня поведением.
Диспозиция следующая:
1. Парсится некий сайт, защищенный каптчей.
2. Используются хорошие socks-прокси.
3. Парсинг происходит с помощью обычного HttpClient, .net 6.
Происходит следующее:
- запускаю свое консольное приложение-парсер на локальном компьютере (windows 10) - каптч около нуля
- запускаю его же (прям ctrl-c - ctrl-v) на сервере с windows 2016 - каптч больше, чем успешных запросов
Между запусками в коде ничего не меняется, прокси те же самые.
Провел некоторые исследования - поскачивал страницы https://bot.sannysoft.com/ и https://yandex.ru/internet/ этим же HttpClient через эти же прокси - результаты абсолютно одинаковые, что на локалке, что на сервере.
Также, путем особых извращений, установил на локалке Windows 2016 в VirtualBox и попробовал запустить там - повалили каптчи. Подозревал, что сайт-донор как-то детектирует основной IP за прокси (хотя это socks), но последний тест эти сомнения развеял - очевидно, есть какие-то различия в том, как работает HttpClient в разных ОС. Нагуглить ничего не удалось по теме, возможно, кто-то из уважаемого сообщества сталкивался с таким и сможет помочь?

Comments

[Aetae]

С тупой стороны: User Agent то нормальный в обоих случаях используешь?
С умной стороны: поставь wireshark, сделай дамп и сравни.

[Артем]

Юзер-агент нормальный. А даже если не нормальный - в обоих случаях все равно одинаковый.
Насчет Wireshark - запросы тоже одинаковые и там и там, ибо один и тот же экзешник и прокси, что сравнивать-то?

[Василий Банников]

Артем, компьютер один и тот же или Windows Server где-то в датацентре стоит?

[Артем]

Василий Банников, Windows Server стоит в датацентре.
Но я установил Windows Server той же версии, что и в датацентре, на VirtualBox на домашнем компьютере - ситуация с каптчами повторилась, как и на сервере в датацентре. Параллельно работали два парсера - один на домашнем компе, второй на виртуалке на том же домашнем компе. На первом каптч нет, на втором сотни.
Отсюда и сделал вывод о специфике ОС.

[Артем]

Артем, Завтра попробую поставить VirtualBox, а в нем Windows 10, на сервер в датацентре и запустить там. Будет интересно, если каптчи пропадут )) Почему-то мне кажется, что так и будет.

[Saboteur]

Так это, разные ж айпишники, что ты хотел.

[rPman]

Dns как у тебя резолвится, по умолчанию не используется прокси, а значит так можно ip детнктить?

[Артем]

Айпишники разные, да.
А как объяснить, что на одном и том же айпишнике, только под виртуалкой на Windows 2016, есть каптчи, а без виртуалки на Windows 10 нет?
DNS резолвятся как-то автоматически, это делает HttpClient.

[Артем]

Короче, поставил я виртуалбокс на сервер в датацентре и в нем windows 10. Запустил свой процесс - каптч тысячи, как будто и нет виртуалбокса. Буду, видимо, Wireshark мучить...

[Артем]

Кому интересно

• поставил последнюю ubuntu на virtualbox на windows-сервере в датацентре
  
• установил dotnet runtime
  
• запустил свой процесс
  

Каптч нет!!!
Ситуация интересная, не находите?
Попробую в докер упаковать, посмотрим, что получится.

[rPman]

с какой скоростью идет загрузка? может сервер быстрый а внутри виртуалки медленный, пока быстро загружается, таймауты вынуждают включить капчу

[Deita]

rPman как у гугла капча срабывает, когда всё сильно стабильно работает, соединение отличное, то кидает "I'm not a robot" если заходишь из обычного Sandbox то латенси выше через Switch, то думает что всё нормально, т.к. смотрит что у большинства нет 10GB канала и всё плохо из диапазона, оно не верит что может быть так быстро, потому что у большинства не Ethernet а мобильные системы как правило для 2016 может какойто устаревший драйвер подтягивается

[Артем]

Сервер и локалка сопоставимые по скорости.
Проблема явно глубже - где-то в зоне TLS или чего-то такого.
Разбираюсь еще.