Как выводить данные пополняющиеся в реальном времени в базу данных sqlite?

Question

[Lim_Drake]

Здравствуйте! Хочу сделать блокнот событий работы программы парсинга сайта, по типу "Завершен парсинг 1 из 5 страниц...", появилась идея использовать Sqlite для того чтобы создать базу данных, которая пополняется событиями.
Это я делаю для того чтобы, выводить его на форму, созданную в Qt Designer Pyqt5, в textEdit
Подобным образом, я предполагаю заполнение базы событиями:

r3 = 'Завершено скачивание данных ' + str(count_page) + ' из ' + str(max_count_pages) + ' страниц'
            datasm = (sql_count,r3)
            sql_insert(con,datasm)
            sql_count =+ 1

Возможно ли делать запросы, которые бы выводили события в реальном времени, то есть, как только произошло заполнение, выводить данные на экран? Если возможно, прошу поделиться сведениями!
Я заранее прошу прощения, это только моя идея, и я владею только поверхностными знаниями в этой области.

Answer 1

[Сергей Карбивничий]

Вот простой код, который и выводит данные на страницу, и заносит их в базу:

import sqlite3
import time
from datetime import datetime

conn = sqlite3.connect('events.db')
cursor = conn.cursor()

sql = """CREATE TABLE IF NOT EXISTS events(id INTEGER PRIMARY KEY AUTOINCREMENT,
                                        page int,
                                        status text,
                                        date text)"""

cursor.execute(sql)

def add_event(page,status): # Метод добавления в базу: page - номер текущей страници, status - OK или ERROR
    date_now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    cursor.execute("INSERT INTO events VALUES(?,?,?,?)",(None, page, status, date_now))
    conn.commit()
    pass


max_page = 5

for page in range(1,max_page+1):
    try:
        # Тут сам парсинг, или метод парсинга
        print(f'Завершено скачивание данных {str(page)} из {str(max_page)} страниц')
        add_event(page,'OK')
        time.sleep(0.5)
    except:
        print(f'Ошибка парсинга на странице {page}')
        add_event(page,'ERROR')

conn.close()

PS: Изначально в вопросе о Pyqt5 речи не было.

Comments

[Lim_Drake]

Да, я его отредактировал, через минут 20, после публикации.
Мне именно интересно, возможно ли как то отлавливать запись событий в базу данных и в этот же момент переносить их из бд на форму
Спасибо за труд, все равно!

[o5a]

Lim_Drake, просто с некоторой периодичностью (несколько секунд, минута, как угодно) опрашивать базу данных, проверяя новые появившиеся данные. Проще будет делать, если события в базу записывать с timestamp. Тогда можно сразу напрямую забирать из базы только новые события запросом вида

execute("SELECT * FROM events WHERE event_time > ?", (last_check, ) )

где last_check - время предыдущей проверки.

Но можно и одновременно с записью в базу обновлять и данные на форме. Только в таком случае для чего вообще запись в базу? Может она и вообще не нужна?

[Lim_Drake]

o5a, спасибо за ответ!
Вообще эта идея возникла из-за проблемы, которую я не мог решить, мой парсер и форма находятся в разных классах, я смог реализовать запуск парсинга по нажатию кнопки на форме, то есть обратиться из класса формы в парсер, но вот для того чтобы записывать события на форму из класса парсера нужно было обратиться к textEdit на форме для вывода событий, и это у меня не получалось, собственно мне и посоветовали использовать sqlite
Я правильно, понимаю, мне нужно добавить колонку с временем записи события в БД, после чего использовать этот запрос и тогда будут выводиться только новые события?

[o5a]

Lim_Drake, да, при записи события записывать в колонку текущее время например через
datetime.datetime.now()