Как парсить olx?

Question

[Руслан]

На olx, как я понимаю, какая-то мощная защита от парсинга используется. Пробовал селениум на python, но он сразу понимает, что это робот и отдает заглушку. Пробовал BeautifulSoup и request:

import requests
from bs4 import BeautifulSoup

def get_data(url):
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
    }

    req = requests.get(url, headers)

    with open("projects.html", "w", newline='', encoding="utf-8") as file:
        src = file.write(req.text)

get_data('https://www.olx.kz/d/elektronika/telefony-i-aksesuary/mobilnye-telefony-smartfony/astana/')

также возвращает заглушку.
Подскажите, у кого-то вообще получается его парсить? Подскажите хотя бы куда копать. В частности еще интересует парсинг номеров телефона с объявления, но это на будущее, а вообще хотя бы страницу сайта.

Comments

[WbICHA]

Зачем ты его вообще парсишь? Он на реакте...

https://www.olx.kz/api/v1/offers/?offset=0&limit=40&category_id=85&region_id=13&city_id=87&filter_refiners=spell_checker&facets=[{"field":"district","fetchLabel":true,"fetchUrl":true,"limit":30}]&sl=183758adc9cx21cc23b2

[WbICHA]

Вернее на нексте (скорее всего), поскольку там есть сср, но сути дела это не меняет.

[Руслан]

WbICHA, номера нужны из последних сообщений

[WbICHA]

Руслан, так фильтруй как тебе надо.

Answer 1

[Dimonchik]

копать в макскировку Селениума

Answer 2

[AnKus]

Тема старая, но вот наткнулся на нее, во время поисков ответа на мой аналогичный вопрос. Наигравшись вдоволь с undetected_chromedriver и его всевозможными настройками, которые не дали результата, пришел к выводу, что спарсить ОЛХ можно путем ротации прокси. Но, есть еще способ, в частности получить номер телефона. Заключается он в том, что нужно отправить гет запрос на адрес с api, который возвращает сам номер. Загвоздка заключается в том, что в каждом таком запросе отправляется уникальный bearer токен. Его видно в dev tools браузера, можно его оттуда копирнуть, чтоб руами один запрос отправить. Но как брать автоматом этот bearer токен в каждой итерации и передавать его в запрос - это вопрос ... Кто решал такую проблему ?