Как игнорировать лимит запросов OLX API?

Question

[Sergei_Mukha]

Когда я исполняю этот код, мне OLX API выдает, что у меня закончился лимит запросов, кто-то знает как это игнорировать?

from unicodedata import category
import requests
from bs4 import BeautifulSoup as BS
import fake_useragent

headers = {
    'Accept':'*/*',
    'Host': 'www.olx.ua',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode    ': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36', 
    'X-Platform-Type': 'mobile-html5',
    'Authorization': 'Bearer 6c8bea54aaecbbabfcbdadf99feb845781026be5',
}

# файл с ссылками
with open('urls.txt') as f:
    urls = f.readlines()

    for url in urls:
        if url:
            r = requests.get(url, headers=headers)
            soup = BS(r.text, 'lxml')

            id = soup.find('span', class_='css-9xy3gn-Text')
            print(id.text.replace('ID: ', ''))

            number = r = requests.get(f'https://www.olx.ua/api/v1/offers/{id.text.replace("ID: ", "")}/limited-phones/', headers=headers)
            print(number.text)
            
            if  number:   
                if number.json()['data']['phones']:
                    print(number.json()['data']['phones'][0])
            
            category = soup.find_all('li', class_='css-7dfllt')[-1].text
            print(category)

Comments

[Рамис]

Ограничения идут по токену.

'Authorization': 'Bearer 6c8bea54aaecbbabfcbdadf99feb845781026be5',

[Sergei_Mukha]

Рамис, а его можно как-то заменить?

Answer 1

[Shandy]

Никак. Эти ограничения накладывает сервер. Можете попробовать менять IP, чтобы обойти их

Comments

[Sergei_Mukha]

А можете, пожалуйста, объяснить. как я могу менять ip, чтобы обойти?

[Shandy]

Sergei_Mukha, читай про proxy в библиотеке requests. Потом ищи в интернете открытые прокси сервера или купи для себя несколько штук

[Sergei_Mukha]

Shandy, я все сделал, но при запуске программы выдает трейсбэк:

raceback (most recent call last):
  File "d:\Serega\Python\olx_parser\test.py", line 19, in <module>
    r = requests.get(
  File "C:\Users\Dom\AppData\Local\Programs\Python\Python39\lib\site-packages\requests\api.py", line 76, in get
    return request('get', url, params=params, **kwargs)
  File "C:\Users\Dom\AppData\Local\Programs\Python\Python39\lib\site-packages\requests\api.py", line 61, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Users\Dom\AppData\Local\Programs\Python\Python39\lib\site-packages\requests\sessions.py", line 542, in request
    resp = self.send(prep, **send_kwargs)
  File "C:\Users\Dom\AppData\Local\Programs\Python\Python39\lib\site-packages\requests\sessions.py", line 655, in send
    r = adapter.send(request, **kwargs)
  File "C:\Users\Dom\AppData\Local\Programs\Python\Python39\lib\site-packages\requests\adapters.py", line 510, in send
    raise ProxyError(e, request=request)
requests.exceptions.ProxyError: HTTPSConnectionPool(host='whatismyipaddress.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', OSError('Tunnel connection failed: 400 Bad Request')))

Сам код:

from bs4 import BeautifulSoup
import requests

headers = {
    'Accept':'*/*',
    'Host': 'www.olx.ua',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode    ': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:92.0) Gecko/20100101 Firefox/92.0', 
    'X-Platform-Type': 'mobile-html5',
    'Authorization': 'Bearer 6c8bea54aaecbbabfcbdadf99feb845781026be5',
}

proxy = {
    'https': 'http://185.171.230.151:80'
}

r = requests.get(
    'https://whatismyipaddress.com/',
    headers=headers,
    proxies=proxy
).text

soup = BeautifulSoup(r, 'lxml')
print(soup.find('span', class_='address'))

[Shandy]

Sergei_Mukha, прокси точно валидный?

[Sergei_Mukha]

Shandy, в этом то и проблема, я не знаю как проверить или где найти точно валидый бесплатный

[Sergei_Mukha]

Shandy, знаете какие нибудь бесплатные источники с валидными прокси?

[Shandy]

Sergei_Mukha, прочитайте это https://qna.habr.com/q/649336.
Прокси беру отсюда free-proxy.cz/ru, но проблема бесплатных в том, что они уже могут быть заблокированы

[Sergei_Mukha]

Shandy, спасибо большое