Почему проверка ссылки выдаёт ошибку 403?

Question

[Дарья]

Хочу спарсить сайт Beautiful Soup, но сервер против. Также проверила ссылки из вкладки "нетворкс" - ошибка остаётся. Кто знает как исправить ситуацию?

import requests
from bs4 import BeautifulSoup
import csv


def get_html(url):
    r = requests.get(url)
    if r.ok: 
        return r.text
    print(r.status_code)


def main():
    url = 'https://www.qoo10.sg/s/EYELASH?keyword=eyelash&keyword_auto_change=&curPage=5'
    get_html(url)



if __name__ == '__main__':
    main()

P.S. до этого спарсила сайт scrapy без проблем

Answer 1

[alexkomp]

Вы забыли про сессии - Вас просто банят из-за этого.

вот как будет правильно

import requests
from bs4 import BeautifulSoup
import csv

headers = {
	'accept': '*/*',
	'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Mobile Safari/537.36'

}

url = 'https://www.qoo10.sg/s/EYELASH?keyword=eyelash&keyword_auto_change=&curPage=5'
def get_html(base_url, headers):
	request = requests.get(url, headers=headers)
	if request.status_code == 200:
		print('OK')
	else:
		print('ERROR')
	return print(request.status_code)



get_html(url, headers)

Comments

[Дарья]

круто! спасибо)
получается проблема была все таки в user agent... по каким-то причинам не хотел пускать меня дефолтно, а сейчас все отлично воркает