Алексей Черемисин

JInput

На слове неуправляемых перестал читать.
Меняй все на управляемые, иначе долго будешь искать что срет.

Если я отправлю гет запрос из консоли то увидит-ли меня сайт где именно я нахожусь?

Напрямую нет, но косвенно можно понять это по ip адресу исходящего запроса.

Если я будут использовать селениум то увидит-ли меня сайт где именно я нахожусь?

Напрямую нет, но косвенно можно понять это по ip адресу + гуглите, что такое утечки dns и как можно определить настоящий ip (минуя прокси) через webrtc.

Селениум хороший анти-детект браузер? Видел еще playwright он лучше?

Selenium - это вообще не антидетект браузер, а лишь программа, которая использует browser-driver для управления браузером. Selenium + undetected-chromedriver - это для преодоления простой защиты, не более. Playwright хуже определяется антибот системами, но опять же - в рамках простой защиты.

Как обычно парсят сайты со сложной защитой? Где продаются такие боты?

Пишут свои приватные реализации ботов, которые обычно не продаются, т.к. прибыль от бота сильно выше его разовых продаж, а как только его продадут, то о нем сразу узнают те, кто пишет антибот системы. Либо используют готовые паблик сервисы, которые предоставляют api доступ по подписке с приличной стоимостью, но они не всегда в состоянии преодолеть сложную защиту, т.к. этими же сервисами пользуются и те, кто пишут эту самую антибот защиту.

Как анти-бот системы определяют ботов наверное есть какие отличительные признаки?

Профессионально обнаружением ботов занимаются отдельные команды или даже целые компании (Radware, DataDome, Cloudflare, Imperva, Arkose Labs, HUMAN Security, Akamai, hCaptcha итп). Обнаружение сводится к прямому и косвенному методам.

Прямые методы обнаружения:
- Частота запросов и "доверие" (trust) к конкретному ip.
- Проверка заголовков User-Agent. Заголовки от iphone, версия браузера от андройда, а размер дисплея от ноута - надежно!
- Отпечатки рукопожатий TLS/QUIC (векторы JA3/JA4, ALPN, расширенный порядок).
- Проверка выполнения JS.
- Обнаружение признаков использования драйверов браузеров (window.navigator.webdriver, window.document.__webdriver_script_fn итп), открытости DevTools.
- Особенности работы Runtime.enable браузера вместе в с plwaywright (обычный пользователь никогда не вызывает Runtime.evaluate). Серьезные анти-бот системы могут ставить прокси-объекты на стандартные api браузера, чтобы поймать бота в момент попытки взаимодействия с ними.
- Шрифты: через js получают список шрифтов (откуда у вас Ubuntu шрифт на Андройде?), затем выборочно печатают на canvas изображение нужным шрифтом или печатают невидимый шрифт без канваса (применяют css свойство с найденным шрифтом), затем замеряют размеры результата и сверяют его с эталоном.
- Видеокарта: через js рисуют на canvas невидимое изображение с цифрами, спецсимволами и смайликами, затем получают представление изображения в виде кода. Через WebGl можно нарисовать 3D изображение.
- Камера. Как это у вас 3 камеры на samsung a32, если их 4?
- Гироскоп, компас, акселерометр (все это без разрешения работает на андройде). Почему ваш гироскоп не двигается несколько минут подряд, хотя геолокация и ip gsm вышек меняются?
- Анализ аудио рендеринга без разрешения на доступ к аудио (используется только программный аудио стек), где собираются уникальные артефакты обработки звука в зависимости от аппаратного обеспечения. Генерируется аудиосигнал, который обрабатывается через цепочку фильтров и эффектов (динамическая компрессия, частотные изменения, реверберация, изменение частотной или амплитудной модуляции итп).
- Изолирован ли текущий контекст внутри фрейма/песочницы?
- Остальная проверка характеристик браузера->устройства: процессор, оператива, дисплей, плагины, часовой пояс, язык. У вас в браузере установлен русский язык, тайм-зона германии, последняя геолокация час назад в италии, а сейчас вы используете ip адрес гондураса, и как ему удается свайпать по НЕ сенсорному дисплею? - чистокровный человек, пропускаем! ;)
- Попытка экономии места на диске под кэш и трафика порождаемого этим кэшом между сотнями/тысячами/миллионами якобы уникальных ботов.
= Собираем данные, хэшируем и получают относительно уникальный отпечаток (fingerprint). Уникальность заявляется разная, вплоть до 99%.

Косвенные методы обнаружения:
- Частота запросов и "доверие" (trust) к конкретному ip. Внезапно начался наплыв пользователей, да и еще примерно с одинаковыми характеристиками устройств, при этом хозяин сайта не давал рекламы или как то привлекал пользователей...
- Нестандартный скролл/свайпы/клики у пользователей, ошибки и скорость ввода текста. Внезапно резко наплывшие пользователи стали скролить примерно до одного блока, делали 3 свайпа по 5-6 точек в каждом, хотя до этого все скролили по разному...
- Нестандартная реакция на всплывающие окна. Скролл поверх фиксированного окна - бесценно... ;)
- Нестандартная последовательности посещенных страниц.
- Нестандартное количество проведенного времени на странице.
- Клики по невидимым для живого человека ссылкам, заполнение невидимых полей и отправка формы, когда она не может быть отправлена, в результат не верной js валидации полей - это вообще не стареющая классика.
- Геолокация - только с разрешения, но после разрешения можно получить много косвенных данных для анализа. Какая точная у вас геолокация, всегда до метра, и прыгает всегда по 10 метров, а у других на таком же устройстве все дергается как го*но в проруби...

= Собираем данные визитов пользователей, заливаем в нейронку для сравнения с предыдущими визитами, получаем вероятность роботности по группам риска, объединяем группы в сегмент аудитории и ищем похожие аудитории. Затем, каждую группу риска можно точечно прессовать, снижая нагрузку на наш сервис, менеджеров и поддержку, практически не теряя в конверсиях. Например, такой схемой раньше пользовалась популярная компания по продаже кроссовок, боты в очередной раз хотели скупить лимитированные кроссовки за секунду, для последующей пере-продажи на ebay, но не получилось. В час X, у ботов стала лагать корзина, оплата и доставка, пока ботоводы разбирались, кроссы уже скупили обычный кожаные посетители.

P.S. Я привел лишь самые распространенные (и те, которые вспомнил) методы обнаружения, которые используют большинство средних антибот систем. Для сложных систем, можно смело увеличивать список в несколько раз.

У вас тут гонка, а не дедлок. Методы second и third не успевают встать в ожидание condition.

Если визуализировать пошагово:

1. first - захватил блокировку объекта lock
   
2. second - захватить lock не может, так как он уже захвачен, поэтому встаёт в ожидание
   
3. third - захватить lock не может, так как он уже захвачен, поэтому встаёт в ожидание
   
4. first - пишет в консоль "first"
   
5. first - сигналит condition1
   
6. first - релизит lock
   
7. second - просыпается и захватывает lock
   
8. second - встаёт в ожидание condition1, которое будет бесконечным, потому что condition1 за всё время триггерится однократно и этот триггер уже отработал на 5 шаге
   

Ваш код сможет успешно завершиться если подобрать нужный тайминг. Например, так:

var c = new SomeClass();
try (var t = Executors.newFixedThreadPool(3)) {
    t.submit(c::second);
    t.submit(c::third);
    Thread.sleep(100);
    t.submit(c::first);
}

1) TDP в 2.5W совсем не означает, что он реально жрет 2.5 W, максимальное потребление в стресс тесте может и 12 W быть
2) стекло, блин, прозрачное, вы покрасьте лампочку черной краской, сразу получите схожесть

dataframe.drop_duplicates(subset=[col1,col2,..],keep=False)

keep параметр, поддерживает 'first' (оставить первое) и 'last' оставить последнее, False удалит все строки.

Дополнил, ответ для сравнения между колонками для общего случая если это две или более или подсет.

cols = ['col1', 'col2', ..]
df.loc[~(df[cols].eq(df[cols].iloc[:, 0], axis=0).all(axis=1))]