Как спарсить номер телефона если блок закрыт?

Question

[night_7182]

Такой вопрос нужно с сайта спарсить номера телефонов, но чтоб показался номер телефона надо кликнуть. Когда парсишь сайт таким кодом

import requests
from bs4 import BeautifulSoup


product = input()

url = "https://lalafo.kg/kyrgyzstan/q-" + product
request = requests.get(url)
bs = BeautifulSoup(request.text, 'lxml')

all_links = bs.find_all()

for link in all_links:
    print(link)

Номер телефона проявляется как mobile Как его вытащить?
На сайте блок пишется так, но класс не так называется
class="AdTileHorizontalCallBtnTitle"

Без селениума и драйверов

Answer 1

[Vindicar]

Ну так а ты что хочешь - сайт защищается от парсеров. Вроде твоего, да.
Варианта два:
1. Выясняй, хранится ли телефон в странице (если да, то где?) или подгружается (если да, то куда нужно отправить запрос?). Если телефон хранится/передаётся зашифрованным, выясняй, как сайт его расшифровывает, потом реализуй этот же алгоритм сам.
2. Успешно притворись браузером, пусть сайт сам всё сделает. Т.е. опять селениум.

Comments

[night_7182]

Телефон подгружается после клика

[night_7182]

У него с p на a меняется и телефон в href

[Vindicar]

night_7182, именно подгружается?
Т.е. ты открывал вкладку Сеть в инструментах разработчика в браузере и видел там новый запрос?
Ну так замечательно, попробуй такой же в точности запрос отправить питоном.

Hint

Помочь подробнее не могу, ты даже полный URL страницы не даёшь.

[night_7182]

Vindicar, А как отправить запрос клика? Тока что посмотрел когда кликаешь на кнопку появляется номер и в сети подгружается запрос

Как не полный url?

[Vindicar]

night_7182, обращай внимание на:
* тип запроса GET/POST
* заголовки, в т.ч. Referer и куки
* параметры запроса, как они отличаются для разных страниц сайта. Вот тут самое сложное может быть. Например, в странице где-то лежит ключ, который надо передать в параметрах, чтобы сайт ответил.
* в каком формате отдаётся ответ.
requests позволяет всё это имитировать.

"https://lalafo.kg/kyrgyzstan/q-" + product
Я хз какие там могут быть айдишники product, а то может и сам бы глянул. Шариться по сайту и искать влом. =)

[night_7182]

Vindicar, Когда парсишь без меток без ничего номер появляется в метке mobile, как вытащить его, без лишнего?

[Vindicar]

night_7182, блин. Вот я знаю что за кусок скриншота текста ты мне подсунул? Откуда это? Выхлоп bs.find_all()?

Задавай вопросы по-человечески.