Код через vscode(через консоль) отлично работает но на сервере не работает. Даже не отображается ошибки, дает только ошибку except-а. Гуглил и проверил и исправлял очень много, все что мне известно. А тут я просто не знаю что делать.
После запуска сервр думает где то 5-10сек и дает ошибку 1 и 3 это принты except-а
from selenium.webdriver.chrome.service import Service
from bs4 import BeautifulSoup
from selenium import webdriver
import time
#Ссылка на сайт
URL = 'https://equanity.notion.site/af08990fbca340b38301653a7da4c9c3'
#Настройки веб-драйвера
options = webdriver.ChromeOptions()
options.headless = True
options.add_argument("--no-sandbox")
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36")
options.add_argument('--disable-dev-shm-usage')
options.add_argument("--disable-blink-features=AutomationControlled")
#Путь к веб-драйверу
driver = webdriver.Chrome(executable_path = "/home/tbot/chromedriver",options = options)
driver.maximize_window()
#Получаем название и ссылки всех кнопок в главной странице (Карта Гайда))
def get_info():
while True:
try:
driver.get(url=URL)
time.sleep(7)
print("Зашли на сайт")
source = driver.page_source
soup = BeautifulSoup(source, 'lxml')
all_buttons_get = soup.find_all(class_ = "pseudoSelection")
print("Спарсили и сохранили в список")
buttons_name = []
buttons_href = []
for item in all_buttons_get:
try:
item_text = item.text
item_href = "https://equanity.notion.site" + item.find('a')['href']
print("Получаем название кнопок и ссылки на них")
buttons_name.append(item_text)
buttons_href.append(item_href)
except:print('2')
del buttons_name[0:2]
file = open("name.txt", "w", encoding = "utf-8")
file.write("\n".join(buttons_name).join("\n"))
for inf in buttons_name:
file.write("%s\n" %inf)
file.close()
except:print('1')
#Получем информацию внутрий кнопок 2-уровня
count = 1
try:
del buttons_href[0:2]
for hrefs in buttons_href:
driver.get(url=hrefs)
time.sleep(7)
source_2 = driver.page_source
soup = BeautifulSoup(source_2, 'lxml')
text = [i.text for i in soup.find_all('div', class_='notion-selectable')]
li = []
for i in text:
if i not in li:
li.append(i)
del li[0:6]
#Полученную инфу записываем в файлы
print("Сохдание фалов и запись")
file = open(f"data/{count}_info.txt", "w", encoding = "utf-8")
file.write("\n".join(li).join("\n"))
for item in li:
file.write("%s\n" % item)
file.close()
count += 1
except:print('3')
time.sleep(85500)
if __name__ == '__main__':
get_info()