Парсер собирает данные с сайта, и все бы ок, только он записывает теги
<p>
с каждой новой строки бд(sqlite3), причем другие столбцы просто дублируются, меняется только id, с чем это может быть связано?
def get_page_date(html):
soup = BeautifulSoup(html, 'lxml')
news = soup.find('div', class_='article-list').find_all('h3', class_='article-list__item-title')
for new in news:
try:
title = new.find('a',class_= 'link_nodecor').text.strip()
print(title)
except:
title = ''
try:
url = 'https://example.ru' + new.find('a',class_= 'link_nodecor').get('href')
print(url)
post = requests.get(url).text
soup = BeautifulSoup(post,'lxml')
articles = soup.find('div',class_='article').find_all('p')
for article in articles:
try:
post_text = article.text
cursor.execute("INSERT INTO news VALUES (?, ?, ?)", (title, post_text, url))
cursor.commit()
print(post_text)
except:
post_text = ''
except:
url = ''
Как это можно исправить?