Как сделать симуляцию клика или разблокировку скрытых данных?

Question

[icenoon]

Есть страничка авито . На каждой страничке есть две кнопки , одна ""Написать сообщение" - которая создает диалог с держателем этого объявления, другая "Показать телефон". Как скрипту дать команду совершить клик по этим кнопкам.

Есть две задачи - 1. Создать диалог с владельцем.
2. Показать полный номер владельца.
Что я попытался сделать для задачи - 1

У каждого объявления есть номер , что очевидно
https://www.avito.ru/ufa/nastolnye_kompyutery/4_ya...1412710700

У каждого диалога тоже есть код который включает в себя ваш код и код объявления по которому вы обращаетесь
https://www.avito.ru/profile/messenger/channel/u2i-1412710700-87061295

Но есть одно ЖИРНОЕ НО - если я возьму свой код и код любого объявления и подставлю их в URL диалога то странички не будет существовать для тех объявлений для которых я не кликал кнопку "Написать сообщение"
Я так же пытался изучить код странички для получения ссылки кнопки "Написать сообщение" - ее не существует

Вторая задача полностью аналогична с первой

От сюда - вопрос, как мне нажать любую из этих кнопок скриптом на PYTHON .
Буду очень признателен как прямым ответом в виде кода , так и любыми ссылками на статьи по модулям которые могу решить мою проблему как на русском так и на английском

Answer 1

[Владимир Куц]

Selenium

...
driver.get('https://www.avito.ru/rostov-na-donu/zapchasti_i_aksessuary/akpp_infiniti_vq37vhr_g37_1791599363')

el = driver.find_element_by_xpath("//button[contains(@data-marker, 'item-phone-button/card')]")
el.click()

el = driver.find_element_by_xpath("//img[contains(@data-marker, 'phone-popup/phone-image')]")

image = Image.open(io.BytesIO(base64.b64decode(el.get_attribute('src').split(',')[1])))
imshow(image)

Answer 2

[Арсений Матыцин]

Тяжелые будни копировальщика...

1. Морда Авито, как и многие другие написаны на JS и ничего общего не имеют с бэкендом (Тут вообще по барабану какой ЯП), кроме как запросами.
2. DOM генерируется динамически в зависимости от действий пользователя.
3. Этого всего ты никогда не увидишь ковыряясь в сырцах, так как DOM показывается уже в дебаггере (F12).

Итого:

От сюда - вопрос, как мне нажать любую из этих кнопок скриптом на PYTHON

Вопрос не про пайтон. Тебе нужно понять, как работает JS, как он работает именно в данном случае (смотри фреймворки типа Vue, React, ноги оттуда растут), а уже с легкой подачи fetch-а от JavaScript-а в бэк уже делай что угодно.

Comments

[icenoon]

Расшифруйте пожалуйста фразу - "Тяжелые будни копировальщика..."

Нет , если чуть точнее у меня есть парсер , я собрал все данные что мне нужно с авито , теперь опираясь на эти данные мне нужно писать держателям объявлений этим же скриптом что и парсил - написанный на Python . Поэтому не понимаю зачем мне нужно еще и JS сюда притягивать за уши.

Поискав все это время в инете я нашел модуль selenium который в принципе открыл страницу и произвел мне нужный клик по этим кнопкам и даже ввел нужные мне данные для логина , но тут я нарвался на КАПЧУ , а значит теперь мой вопрос немного переквалифицировался , можно ли один раз своими розовенькими ручками залогиниться в браузере и сделать так что бы все последующие страницы selenium открывал в новых окнах того браузера где уже был произведен лог-ин и совершал нужные мне действия не нарываясь на КАПЧУ .

Спасибо

[Арсений Матыцин]

icenoon, selenium → разработка через тестирование. Готорит мне о том, что ты пытаешься не повторить, а спарсить. Слова «спарсить» вообще очень не хватает в описании вопроса.

Тем не менее это никак не заставляет изменить ответ, так как в любом случае принципе действия объекта копирования он описывает.

Добавлю только, что у Авито, как и у любого уважающего себя сервиса есть API. Я им не пользуюсь, поэтому не знаю, какие именно данные там открыты из коробки, но скорее всего это будет проще, чем пытаться расковырять сайт, построенный на JS.

[icenoon]

Арсений Матыцин, Хорошо , можете мне тогда подсказать , если у меня стоит задача написать держателю объявления на авито , в каком направлении мне нужно искать.
Для этого нужно сделать следующие шаги
1. На странице объявления , нажать кнопку написать сообщение тем самым создав диалог между мной и держателем объявления
2. Отправить текстовое сообщение в созданном диалоге

[Арсений Матыцин]

icenoon, порыться первым делом в API, чтобы, если есть такая возможность, не городить все вот это вот.

API у них есть, я когда первый раз упоминал глянул. А вот есть ли возможность подобного взаимодействия я не всматривался.

[Олег Петров]

Арсений Матыцин, Очевидно что API сделан не для того, чтобы иметь возможность открыть специально скрытый от парсинга номер телефона. =)))

Answer 3

[Надим]

На питоне вы это не сделайте никогда, только на JavaScript.

Comments

[Владимир Куц]

Смелое утверждение))
У меня почему-то без javascript получилось.

[Надим]

Но вы то и не автор вопроса) Чтобы вытаскивать номер телефона на питоне, надо сначала разобрать весь тот JavaScript-код который отвечает за его сокрытие и вывод, а не зная JavaScript это сделать затруднительно.