Как эффективно работать с базой данных в данном коде?

Question

[Максим Стихарев]

Есть код

for post in media:
    id = post['node']['id']
    like = post['node']['edge_liked_by']['count']
    comment = post['node']['edge_media_to_comment']['count']
    photo = post['node']['display_url']
    // ищем посты в базе данных
    post = cursor.execute("SELECT id FROM blog_instagram WHERE id LIKE "+id)
    count = 0
    // если есть такой id то увеличиваем счетчик на 1
    for row in post:
        count += 1
    values = "'" + str(like) + "', '" + str(comment) + "', '" + str(photo) + "', '" + str(id) + "'"
    // если счетчик > 0 то пропускаем т.к. посты должны быть уникальны в базе
    if (count == 0):
        cursor.execute("INSERT INTO blog_instagram VALUES(" + values + ")")
conn.commit()

Мне кажется что он не эффективен в работе с БД, допустим если постов будет пара сотен тысяч то будет тяжело для машины столько инфы обработать быстро, как можно это сделать эффективнее?

Comments

[longclaps]

Кошмар. Такое сложно исправить - проще выкинуть.

[FeNUMe]

Вопрос не ясен.

values = "'" + str(like) + "', '" + str(comment) + "', '" + str(photo) + "', '" + str(id) + "'"

А так делать не стоит, почитайте про format и код станет намного чище и читабельнее.

values = "'{0}', '{1}', '{2}', '{3}'".format(like, comment, photo, id)

[Максим Стихарев]

На данный момент код вот такой:

for post in media:
    id = post['node']['id']
    like = post['node']['edge_liked_by']['count']
    comment = post['node']['edge_media_to_comment']['count']
    photo = post['node']['display_url']
    post = cursor.execute("SELECT count(*) FROM blog_instagram WHERE id=" + id)
    for row in post:
        count = row[0]
        if (count == 0):
            cursor.execute("INSERT INTO blog_instagram VALUES(?,?,?,?)", (str(like), str(comment), photo, str(id)))
    conn.commit()

Answer 1

[Stanislav Pugachev]

Максим Стихарев,

то, что написано у вас, должно выглядеть примерно вот так (если я правильно понял):

for post in media:
    id = post['node']['id']
    if cursor.execute("SELECT count(id) FROM blog_instagram WHERE id = ?", id):
        continue

    cursor.execute("INSERT INTO blog_instagram(id, like, comment, photo) VALUES(?, ?, ?, ?)", 
        [id,
         post['node']['edge_media_to_comment']['count'],
         post['node']['edge_liked_by']['count'],
         post['node']['display_url']]
    )

но тут сразу возникает много вопросов )
1) правильно ли вы понимаете смысл поля id в реляционной базе данных (я спрашиваю потому что обычно его не вставляют)
если имеется в виду post_id или что-то типа того то тогда у вас там бардак в названиях который смущает все сообщество.
2) какова структура таблицы
3) чего именно вы добиться хотите
4) обычно уникальность поля гарантирует не девелопер своими кривыми дополнительными запросами, а база данных. почитайте про UNIQUE Constraint

Comments

[Максим Стихарев]

1) правильно ли вы понимаете смысл поля id в реляционной базе данных (я спрашиваю потому что обычно его не вставляют)
если имеется в виду post_id или что-то типа того то тогда у вас там бардак в названиях который смущает все сообщество.

У каждого поста в instagram есть свой уникальный id, так я и сделал Primary Key

Вот собственно модель

class Instagram(models.Model):
    id = models.PositiveIntegerField(primary_key=True)
    like = models.PositiveIntegerField(default=0)
    comment = models.PositiveIntegerField(default=0)
    photo = models.CharField(max_length=300)

3) чего именно вы добиться хотите

Быстрой работы при большом объеме данных ( кажется что делал слишком громосткие запросы )

[Stanislav Pugachev]

id = models.PositiveIntegerField(primary_key=True)

поле id оно не для хранения информации
оно не предназначено для записи вообще
оно просто для того чтобы отличать записи друг от друга, и обычно создается самой базой
вам нужно создать поле post_id = blablabla и туда писать айди поста
поле это должно быть уникальным
таким образом при попытке вставить в базу запись с таки же post_id приведет к ошибке
все счастливы