WbICHA, я вообще смутно понимаю кто будет сливать бюджет руками. Не, ну не вопрос, земля богата самородками, но все же руками и переключением браузеров сложно слить бюджет ларька в урюпинске, по этому я честно говоря вообще не рассматривал ситуацию слива бюджета без автоматизации.
VanishingPoint, окей. не пишите бесполезные ответы. У вас плохое настроение? Я написал свои мысли что задача малорешаема и привел свои мысли по чему, вы зачем то полезли с ними спорить, а теперь говорите что это бесполезные ответы.
VanishingPoint,
1. А если сайт написан на TypeScript? CoffeScript? Что это меняет?
2. Ну собственно ровно о том что я вам написал, кроме того что реализация кривая, если один поток может получить хэш подходящий для кучи потоков. И вы собственно тут же пришли к тому чего я говорил изначально. К чему тогда это все?
Refguser,
1. Ну вроде как я понимаю что такое профили браузеров, однако мы вроде отказались от запуска браузеров, отказом от селениума. Не, не вопрос - можно поднимать руками, но это сильно гемморойнее. И разница между использованием браузера в прямую и через селениум - только в том что у вас не будет удобной обертки для запуска инстансов? В чем выгода то?
2. Мы находимся вроде на сайте QA, я вроде абсолютно спокойно и вежливо задаю вам вопрос - потому что мне интересно. В чем проблемы то?
3. Ну то есть я как я и говорил профили браузера вы предлагаете использовать в ручном режиме. То есть на рыбалку на поезде - окей. Сразу бы так и сказали
Refguser, не понял. Какие профили? Вы руками что ли трафик сливать будете? Ну это будет даже не на Камазе на рыбалку, а на поезде.
Я не говорю за всех, более того я вас прошу мне рассказать пути обхода банальной защиты - на первом посещении через джс ставим куку, редиректим и проверяем есть ли она. И я буду признателен если вы подскажете. Я конечно выпал из темы скраппинга сайтов, но все равно интересно, что нового придумали
Refguser, я знаю для чего изначально предназначался. Однако в связи с защитами от простых http обращений его начали использовать для скраппинга и накруток. И может быть этот камаз для рыбалки, но его юзают все. Если вы расскажите мне какие другие есть варианты - с удовольствием послушаю, мне действительно очень интересно- что там нового появилось
Refguser, ну какой нибудь курл вскрыть все таки дело 10 секунд - просто куку ставить через js, по этому селениум нужен. Вскрыть прокси которые не резидентные - тоже не вопрос какая нибудь имперва или как ее, будет их блочить на раз два три
VanishingPoint, айпи поможет только против человека который давит f5. Как и куки. Против связки selenium + платные резидентные прокси поможет мало чего. Какие нибудь поведенческие алгоритмы - дык тоже такое
Если попробовать погуглить фразу для чего используется clickhouse то ваш вариант встретится там ровно 0 раз, а во всех вариантах будет так или иначе звучать слово аналитика.
kategg, ага. теперь более менее понятно.
Я бы предложил бы вам посмотреть в сторону ShouldBeUniqueUntilProcessing. Этот трейт будет вам гарантировать что в момент у вас будет обрабатываться 1 задача с заданным ключом, остальные будут отложены. Если вы в ключ уникальности положите что то-то что будет идентифицировать пользователя то получится, что все остальные сообщения от этого пользователя будут отложены пока не отработается первое. При этом сообщения остальных пользователей будут отрабатываться
не совсем понятно, у вас потоки создают независимые джобы, независимые воркеры разбирают эти джобы, но в какой то момент у вас бац и появляется зависимость одной джобы от другой? Ну вы изначально куда то не туда идете. А какую задачу вообще пытаетесь решить?
