Михаил Р., Vindicar, В скорости уже нет необходимости, попал на каптчу, но обойти ее не получается
import requests
import pandas as pd
import undetected_chromedriver as webdriver
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}
d = {}
#options = {
# 'muteHttpExceptions': True,
#'followRedirects': False
#}
with open('all-website-url.txt', encoding="utf-8") as f:
response_url = [line.strip() for line in f]
for i in response_url:
resp = f'https://www.google.ru/search?q=site:{i}'
response = requests.get(resp, headers=headers).text
print(response)
if "ничего не найдено" in response:
print("Не в индексе")