ну и плавненько дошел до Playwright
Правильно, потом двигайтесь дальше.
использование мобильных прокси с ручной ротацией
Мобильные и резиденские прокси - это на данный момент вариант с наибольшим доверием, со стороны анти-бот систем.
А с прокси (Значительно меньше, до 5 мбит/с) сайт еле фурычит, не прогружается и зависает со страшнейшей силой.
В мобильных фермах стоят обычные свистки, размещены друг на друге, без нормальной антенны, поэтому скорость минимальная. Ну и про оверселлинг не забываем.
Стоит купить мобильные прокси получше, или система еще хитрее?
Только методом тыка вы сможете найти нормальный прокси, либо свою ферму делать.
Дайте пожалуйста ваших советов! Как вы обходили блокировки и всю тяжесть парсинга столь укрепленного сайта?
- Во первых, это коммерческий секрет.
- Во вторых, у крупных сервисов либо сторонняя компания осуществляет анти-бот защиту, либо имеется свой отдел защиты, люди там давно воюют с ботами и имеют приличный опыт.
- В третьих, преодоление защиты это отдельное направление в программировании, которое занимает годы на обучение. Рекомендую почитать
Как анти-бот системы определяют ботов и как от них защищаться?.
- В четвёртых, профессионалы используют кастомный браузер, кастомную прокси ферму, кастомные паттерны поведения человека, т.к. любое паблик решение известно не только вам, но и разработчику анти-бот системы.
