Ошибка Response [403] при использовании Fake Useragent?

Question

[Pavel_132131]

Мне нужно поочередно открывать ссылки из списка "a", но проблема в том что рано или поздно выдает ошибку Response [403] из за большого количества обращений. На сайте sec.gov указано что максимальное число запросов не должно превышать 10 запросов в секунду. Первое что я попробовал это установить временную задержку в 1 секунду, это не помогло, я установил большую рандомную временную задержку, результат тот же. После чего я использовал библиотеку Fake Useragent, но все ровно получаю ошибку Response [403].
Из за чего может быть эта ошибка ?
Код приложил снизу.

import requests
import time
from fake_useragent import UserAgent
import random

UserAgent().chrome

digit = random.randint(45,63)

a = [
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...',
'https://www.sec.gov/Archives/edgar/data/2488/00000...'
]

for i in a:
time.sleep(digit)
page_link = i
response = requests.get(page_link, headers={'User-Agent': UserAgent().chrome})
print(response)

Answer 1

[soremix]

Отличить нормальный переход по URL от запроса через curl/requests/etc довольно таки легко.
Там стоит Акамай, он известен своим очень агрессивным отношением ко всякого рода автоматизациям и прочим нецелевым использованиям сайтов. Спасибо, если не забанит если быстро F5 нажимать. Так что не думаю что обычной подменой юзерагента здесь можно обойтись, лучше тогда уж selenium в хедлесс режиме, но и его акамай успешно режет, хотя это уже от настроек сайта зависит я думаю.