Как правильно записать данные из google sheet в БД?

Question

[Artem Mikhniuk]

У меня есть код, который парсит гугл таблицу и забирает оттуда все данные и закидывает их в БД, но есть проблема, у меня по не известной мне причине, не правильно закидывает вкусы в БД. В консоль через команду print(row) выводиться вся таблица построчно, на скрине видно. В БД почему-то вкусы одного бренда записываются Одинаковые (на скрине в БД видно)

Скрин вывода данных через print (видно что вкусы разные):


Скрин записи в БД (тут видно, что вкусы одинаковые у одной модели почему-то (в этом и проблема вся)):


Код:

import os.path
import time

from google.auth.transport.requests import Request
from google.oauth2.credentials import Credentials
from google_auth_oauthlib.flow import InstalledAppFlow
from googleapiclient.discovery import build
from googleapiclient.errors import HttpError
from oauth2client.service_account import ServiceAccountCredentials
import database
import sqlite3 as sq
from start_bot import bot


# If modifying these scopes, delete the file token.json.
SCOPES = ["XXXXX"]


# The ID and range of a sample spreadsheet.
SAMPLE_SPREADSHEET_ID = "XXXXXXX"  
SAMPLE_RANGE_NAME = "A2:D"  

CREDENTIALS_FILE = 'XXXXXX'


def main():
    creds = ServiceAccountCredentials.from_json_keyfile_name(CREDENTIALS_FILE, ['https://www.googleapis.com/auth/spreadsheets', 'https://www.googleapis.com/auth/drive'])

    if not creds:
        if creds and creds.expired and creds.refresh_token:
            creds.refresh(Request())
        else:
            flow = InstalledAppFlow.from_client_secrets_file(
                "файл_json_из_google_cloud", SCOPES
            )
            creds = flow.run_local_server(port=0)

    try:
        service = build("sheets", "v4", credentials=creds)

        # Call the Sheets API
        sheet = service.spreadsheets()
        result = (
            sheet.values()
            .get(spreadsheetId=SAMPLE_SPREADSHEET_ID, range=SAMPLE_RANGE_NAME)
            .execute()
        )
        values = result.get("values", [])

        if not values:
            print("No data found.")
            return

        brand = ''
        for row in values:
            if len(row) <= 1:
                continue
            elif row[0]:
                brand = row[0]
                taste = row[1]
                ava = row[2]
                prices = row[3]
            else:
                row[0] = brand
                row.extend(prices)
            print(f"{row}")
            database.db_table_items1(model=brand, taste=taste, price=prices)
    except HttpError as err:
        print(err)


if __name__ == "__main__":
    main()

Comments

[pr0l]

Ты от гугла json получаешь?
Если да попробуй сразу json загонять в БД https://stackoverflow.com/questions/4251124/insert...

[Artem Mikhniuk]

pr0l, json файл это просто аккаунт (типо api)

[pr0l]

Может ты не очищает таблицу перед добавленим?
те сколько раз запустится, столько раз и будет добавляться

[Artem Mikhniuk]

pr0l, а зачем её очищать?

[Artem Mikhniuk]

pr0l, я просто не понимаю прикола, что выводиться в консоль по нормальному, а в БД не так как надо

[rPman]

что за модуль database у тебя используется?
очевидно что в реализации там баг

[Artem Mikhniuk]

rPman, это запрос из файла database.py

[rPman]

Artem Mikhniuk, и? мы не умеем читать файлы телепатически

[pr0l]

Artem Mikhniuk, ну смотри. Ты один раз запустил скрипт. Он добавил позиции. Ты второй раз запускаешь скрипт он опять все добавил и так до бесконечности. Строки в базу у тебя только добавляются и не удаляются когда скрипт перезапускаешь. ТЕ условно ты каждый раз надуваешь шарик, а не дышишь через него.

Попробуй удалить все данные и один раз только запустить скрипт

[Artem Mikhniuk]

rPman,

def db_table_items1(model: str, price: int, taste: str):
    cur.execute('INSERT INTO items (model, price, taste) VALUES (?, ?, ?)',
                   (model, price, taste))
    db.commit()

[Artem Mikhniuk]

pr0l, я знаю, что это так работает, тут же смысл не в этом, я данные всегда удаляю перед запуском, это я потом доработаю, главное с начало разобраться с вопросом моим

[pr0l]

Artem Mikhniuk, ну тогда попробуй print натравить на значение которые попадают в базу

def db_table_items1(model: str, price: int, taste: str):
    cur.execute('INSERT INTO items (model, price, taste) VALUES (?, ?, ?)',
                   (model, price, taste))
   print(f"{model=}, {price=}, {taste=}")
   db.commit()

[Artem Mikhniuk]

pr0l, попробую, чуть позже отпишу результат

Answer 1

[Artem Mikhniuk]

Решил свою ошибку в коде следующим вариантом:

taste = row[1]
database.db_table_items1(model=brand, taste=row[1],  price=prices)