Вся сложность парсинга Авито. Как это сделать правильно?

Question

[temkaaa]

Заинтересовала тема автоматизации и тестирования на Python. Начинал с азов: библиотека request, bs4, Selenium, ну и плавненько дошел до Playwright. Учусь в вузе на ML инженера, а автоматизация, парсинг, сбор данных - как приятное хобби) Однако так было не всегда..

Как только пришла идея зайти на Авито и спарсить хотя бы парочку обьявлений.. БУМ - блокировка, капча. Начал детальнее разбираться в вопросе и первое, на что я наткнулся - использование мобильных прокси с ручной ротацией. Крутая идея! Почему бы нет? Настроить небольшие таймауты, случайные скроллы - полная иллюзия человека - и готово.

Но и тут нет. Попробовал целых 2 прокси от разных сервисов, думал дело именно в них. (Скрины прилагаются, для гуру автоматизации)


Но без прокси (При интернете 80 мбит/с) - все работает отлично

А с прокси (Значительно меньше, до 5 мбит/с) сайт еле фурычит, не прогружается и зависает со страшнейшей силой. Вроде и нравится заниматься этим, но очень уж устал тыкаться в стену с одной и той же проблемой. Стоит купить мобильные прокси получше, или система еще хитрее? Дайте пожалуйста ваших советов! Как вы обходили блокировки и всю тяжесть парсинга столь укрепленного сайта?

Comments

[fenrir]

Вы боретесь против отдела, который сидит и за зарплату занимается тем, чтобы не допускать парсинга. Только они ваши действия видят, а вы их - нет.
Сделать правильно значит идеально имитировать человека. И как ML разработчик вы должны понимать, что случайные скроллы не похожи на реальное поведение человека и будут детектится с другой стороны баррикад.

Купить реальные б/у телефоны на развес с того же авито, собрать ферму, заходить ими на сторонние сайты, совершать какие-то действия и иногда делать нужные вам действия на авито. Может поможет, может нет.

[Михаил Р.]

fenrir,

Купить реальные б/у телефоны на развес с того же авито

Это дорого и не удобно, проще модемы, свистки либо полу-профессиональные варианты (гуглить lte modem cat6). В 1 сервер можно единовременно воткнуть десятки, если не сотни модемов и асинхронно выходить в сеть через нужный канал.

[temkaaa]

fenrir, Вы правы. Люди в отделе уже десятилетия работают над проблемой скликивания объявлений. Но ведь способ-то сам по себе рабочий. Скликивания допускаются в пределах определенного количества запросов к сайту, если парсится 1 объявление в 30 секунд - это будет приемлимо для сайта, но чрезвычайно долго для пользователя ( тоесть меня ), так что интересуюсь тут, может кто сталкивался и смог решить эту проблему, спасибо за мнение)

[Михаил Р.]

temkaaa,

но чрезвычайно долго для пользователя

Запускайте асинхронно, используя несколько интернет каналов.

[temkaaa]

Михаил Р., спасибо, я попробую

[shurshur]

Найди себе задачу получше для изучения ML. На том же HF огромное количество различных данных и не нужно бороться с системами защиты.

Answer 1

[Михаил Р.]

ну и плавненько дошел до Playwright

Правильно, на нем и оставайтесь.

использование мобильных прокси с ручной ротацией

Мобильные и резиденские прокси - это на данный момент вариант с наибольшим доверием, со стороны анти-бот систем.

А с прокси (Значительно меньше, до 5 мбит/с) сайт еле фурычит, не прогружается и зависает со страшнейшей силой.

В мобильных фермах стоят обычные свистки, размещены друг на друге, без нормальной антенны, поэтому скорость минимальная. Ну и про оверселлинг не забываем.

Стоит купить мобильные прокси получше, или система еще хитрее?

Только методом тыка вы сможете найти нормальный прокси, либо свою ферму делать.

Дайте пожалуйста ваших советов! Как вы обходили блокировки и всю тяжесть парсинга столь укрепленного сайта?

Во первых, это коммерческий секрет. Во вторых, у крупных сервисов либо сторонняя компания осуществляет анти-бот защиту, либо имеется свой отдел защиты, люди там давно воюют с ботами и имеют приличный опыт. В третьих, преодоление защиты это отдельное направление в программирование, которое занимает годы на обучение. Рекомендую почитать Как анти-бот системы определяют ботов и как от них защищаться? . В четвёртых, профессионалы используют кастомный playwright (или cdp аналог), кастомный браузер, кастомную прокси ферму, кастомные паттерны поведения человека.