Ошибка FORBIDDEN 403. Как исправить?

Question

[Evgeniy_Lugovoi]

Добрый день! Решил попробовать себя в парсинге. Нашел сайт (не поверите, для друга), гайд и начал писать сам код. Написал, да вот только есть проблема, что изображения скачиваються пустые. Решил переходить по тем-же ссылкам что и программа, но в итоге получил ошибку 403. Вопрос, как её решить? Вот сам код -

import requests
from bs4 import BeautifulSoup

storage_number = 1
image_number = 0
category="/pics/non-nude/?page="
link = f"https://www.sex.com"

for storage in range(6):
    responce = requests.get(f'{link}{category}{storage_number}').text
    soup = BeautifulSoup(responce, 'lxml')
    block = soup.find('div', class_ = 'home_container centered')
    all_image = block.find_all('div', class_ = 'masonry_box small_pin_box')

    for image in all_image:
        image_link=image.find('a', class_='image_wrapper').get('href')
        download_storage=requests.get(f'{link}{image_link}').text
        download_soup=BeautifulSoup(download_storage, 'lxml')
        download_block=download_soup.find('div', class_='big_pin_box').find('div', class_='image_frame')
        result_link=download_block.find('img').get('src')
        
        image_bytes=requests.get(f'{result_link}').content

        with open(f"C:/Users/admin/Desktop/images/{image_number}.jpg", 'wb') as file:
            file.write(image_bytes)

        image_number += 1
        print(f"Изображение {image_number}.jpg успешно скачано!")

    storage_number += 1

Comments

[deepblack]

Захар Винокуров,

Попробуй поставить права на файл 777

Он по твоему 403 от файловой системы получает?

Answer 1

[deepblack]

Установи заголовки, например:

import requests

url = 'SOME_URL'

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_4) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36',
    'Referer': 'https://www.sex.com/'
}

response = requests.get(url, headers=headers)

Comments

[Evgeniy_Lugovoi]

Извиняюсь, я начинающий говнокодер на питоне. Помогите пожалуйста, вставить эту строку в код.

[deepblack]

Evgeniy_Lugovoi, Я предлагаю тебе самому это сделать, так будет больше толку (быстрее научишься)

один раз вставить в код

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_4) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36',
    'Referer': 'https://www.sex.com/'
}

затем в каждый вызов requests.get добавить headers=headers

[Evgeniy_Lugovoi]

Andrew D., Спасибо вам! Если вы ещё не работаете учителем, то вам нужно им стать! Словами не передать вам мою благодарность! Удачи вам!