Как добавлять/удалять новые данные в базе данных?

Question

[Whey]

Есть сайт на котором получается информация при помощи парсинга. Также есть база данных в которой находятся все записи. Как можно отслеживать добавление новых записей или тех, которые удаляются? Думал сделать это через множества, а именно получить все строки из базы данных, и собрать из них одну единую строку множества.

mycursor.execute("SELECT Date, User_Group, NumberPair, Time, NameSubject, Teacher, Audience FROM `schedule`")
myresult = mycursor.fetchall()
new = set()

for row in myresult:
    for s in row:
        st += str(s) + ' '
    new.add(st)
    st = ''

print(new)

В итоге множество имеет следующий вид:

{'29.06.2019 272а 4 13:20 - 14:50 лек. Экономическая теория Шлыкова Л.Н. 107 Н ', 
'25.06.2019 272а 4 13:20 - 14:50 лек. Экономика организации Калугина Н.А. 314 Н '}

Тоже самое проделать с сайтом, и затем получить уникальные строки:

print(new - web) # Добавлена пара
print(web - new) # Удалена пара

В итоге – у меня получилось “отсеять” добавленные/удаленные записи, но тут встает вторая проблема: Как теперь эти данные отправить обратно на сервер если они уже имеют строковый вид. Думал над вариантами с использованием библиотеки re, но так и не добрался до нее. Как можно более рационально добавлять/удалять новые записи в базу данных?

Answer 1

[Александр Шохров]

На мой непрофессиональный взгляд, можно хранить в дополнительном словаре соответствие st номеру row в myresults, потом пройтись по множеству удалённых строк, по словарю определить для каждой номер row в myresults и построить запрос на удаление, используя значения из row. Это решает проблему удаления.

Вариация — добавить в БД автоинкрементируемый столбец id, в словаре сохранять именно этот id (st→id), тогда запрос на удаление получается гораздо проще.

Для добавления, мне кажется, только парсить строку регуляркой.

import re;

line = '25.06.2019 272\xd0\xb0 4 13:20 - 14:50 \xd0\xbb\xd0\xb5\xd0\xba. \xd0\xad\xd0\xba\xd0\xbe\xd0\xbd\xd0\xbe\xd0\xbc\xd0\xb8\xd0\xba\xd0\xb0 \xd0\xbe\xd1\x80\xd0\xb3\xd0\xb0\xd0\xbd\xd0\xb8\xd0\xb7\xd0\xb0\xd1\x86\xd0\xb8\xd0\xb8 \xd0\x9a\xd0\xb0\xd0\xbb\xd1\x83\xd0\xb3\xd0\xb8\xd0\xbd\xd0\xb0 \xd0\x9d.\xd0\x90. 314 \xd0\x9d ';
expr = re.compile('^([0-9.]+) ([0-9\xd0\xb0-\xd1\x8f]+) (\d+) (\d+:\d+) - (\d+:\d+) (.*) (\d+ \xd0\x9d) $');
match = expr.match(line);

for val in match.groups() :
	print(val);

Либо более читаемо,

# -*- coding: utf-8 -*-
# комментарий выше должен быть первой или второй строкой в файле исходника, содержащего юникод (здесь, русские буквы)

import re;

line = '25.06.2019 272а 4 13:20 - 14:50 лек. Экономика организации Калугина Н.А. 314 Н ';
expr = re.compile('^([0-9.]+) ([0-9а-я]+) (\d+) (\d+:\d+) - (\d+:\d+) (.*) (\d+ Н) $');
match = expr.match(line);

for val in match.groups() :
	print(val);

Comments

[Whey]

Спасибо, но мне в голову пришел другой способ. Можно послать запрос SELECT для каждой записи, и те записи, которые будут присылать пустой ответ - значит не были найдены в БД, т.е. новая запись. Затем нужно добавить в базу данных данную запись. Также необходимо каждую запись полученную с сайта добавлять в массив. После того, как все записи будут проверены на новые - мы можем отправить один общий запрос на отрицание через SELECT и связки AND (здесь нам и пригодиться заранее созданный массив). В итоге, мы получим все записи, которые были удалены.

[Александр Шохров]

Whey, тут вопрос в чём, если записи в БД — это "зеркало" записей на сайте, и их количество всегда небольшое, сойдёт любой код. Можно даже очистить таблицу и заново заполнить тем, что спарсилось с сайта. Если БД будет хранить историю, уходящую вглубь веков, тут дампить всю базу и делать SELECT на каждый чих уже не подходит.

Обычно, если все необходимые данные загружены в программу из БД, всяческие проверки выполняются средствами программы, без дополнительных запросов.

Сколько записей присутствует на сайте, по какой логике они там добавляются и удаляются? Как используются данные в БД, просто распарсенные копии с сайта, или к ним дополнительно ещё что-то привязывается?

[Whey]

Александр, Общая идея проекта такова, что нужно написать парсер, который будет проверять сайт на наличие новых записей. Если что-то в расписании меняется, то посредством VK API отправлять сообщение пользователю об изменении в расписании. После того, как сообщение об изменении в расписании отправится - запись удаляется из таблицы, и заносится в другую таблицу, которая используется для логов. Она привязывается к сайту через PHP и выводит 10 последних записей об изменении в расписании (также в нее попадают записи которые добавляются).
Всего используется две таблицы. Одна хранит текущее расписание всех занятий, а вторая используется для логов.
Записей будет достаточно много, и нужно действительно подумать над более рациональным способом, чем проверять по одной записи при добавлении.

[Александр Шохров]

Whey, с одной стороны, таблица с расписанием относительно крупная, с другой, расписание ВУЗ'а представляется достаточно компактным для помещения в память, даже несколько раз. Предположу, что вряд ли обновление "зеркала" будет запускаться каждую секунду. Так что конвертация в строки и перекрёстное сравнение выглядят норм. И логи если не вечно хранятся, тоже небольшая табличка будет.

Кстати, st = '' должно быть перед for s in row:, по идее.

string2row = dict()
for rowIdx, row in enumerate(myresult):
    st = ''
    for s in row:
        st += str(s) + ' '
    new.add(st)
    string2row[st] = rowIdx

Добавление универсального идентификатора в БД упростит формирование запросов на удаление. В этом случае myresult можно будет освободить после формирования множества и словаря. Теоретически, значение идентификатора может когда-нибудь переполниться, но, скажем, 32-битный id — это 100 лет по 100000 новых записей в день.