Работа с Pandas. Почему в Excel не передаются данные из db?

Question

[Вадим Жолудев]

В бд есть несколько таблиц, в каждой из них данные, при переносе данных:

import pandas as pd

conn = sqlite3.connect("data.db")
c = conn.cursor()

df = pd.read_sql('select * from users, orders, items, commands, cats', conn)
df.to_excel(r'database.xlsx', index = False)

В excel переносятся только заголовки строк

как это исправить, и можно ли будет мне подвинуть некоторые столбцы, чтобы они небыли все в одну строку, как на скриншоте или переместить их на новые листы?

Comments

[mayton2019]

Что означает этот синтаксис?
select * from users, orders, items, commands, cats
кросс-соединение 5 таблиц?

[Алан Гибизов]

mayton2019, да, я тоже засомневался, как sqlite на такое отреагирует. Надо, кстати, попробовать :)

Курсор, я так понимаю, там и не нужен, pandas должен сам всё организовать.

Но тут стоит вопрос несколько шире:
Для чего вы делаете это именно посредством Python? Это учебная задача или для дела?

Потому что выгружать в продакшене все таблицы из БД в excel выглядит как-то малоосмысленно.

А если нужна какая-то ручная возня с данными, по мне проще и нагляднее было бы использовать knime.

[mayton2019]

Это похоже на какие-то учебные задачки из DataScience курсов.

[Вадим Жолудев]

Алан Гибизов, sqlite реагирует нормально, он подсоединяет все столбцы из всех пяти таблиц. Почему на питоне? Потому что это мне необходимо для телеграмм бота, решил почему то на питоне, для себя попробовать, потому так)

[Вадим Жолудев]

mayton2019, к сожалению о таких курсах не слышал)

[Вадим Жолудев]

mayton2019, да, хотел сразу все таблицы выгрузить

[mayton2019]

Вадим Жолудев, я не знаком с фреймворком pandas. Но могу предположить что перечень таблиц через запятую
это безсмысленный ход. Ты должен указать либо декартово соединение (все-со всеми) где будет просто умножение
количества строк всех на всех. Либо описать JOIN выражение где ты все 5 таблиц соединяешь.

Короче не ленись и не балуйся а просто сделай 5 SELECT операций и выгрузи каждую таблицу в отдельный Лист
Excel.

Answer 1

[o5a]

Т.к. не задали никаких условий, то запрос
select * from users, orders, items, commands, cats
просто формирует кросс-соединение указанных таблиц (каждая строка каждой таблицы перемножаются друг на друга). В колонках Excel и записываются все поля всех этих таблиц.

"только заголовки" потому что данных в таблицах нет (или не записали еще, или забыли закомитить).

Сомневаюсь, что хотели делать кросс-соединение, так что надо указать параметры объединения таблиц, или через where .. = .. или через join
Например так (зависит от ваших реальных связей между таблицами):

select * from users u join orders o on u.user_id = o.user_id

Comments

[Вадим Жолудев]

Спасибо за ответ. Данные в таблицах есть. Для теста подключил только таблицу users, вывело все хорошо, как надо. Но тем способом (select * from users, orders, items, commands, cats) не сработало. Попробую тот метод, который предложили Вы.

[o5a]

Вадим Жолудев, при таком соединении таблиц (без join, без условий полей) если хотя бы одна из указанных таблиц пустая, то и вся выборка будет пустая, что Вы и видите в результате.
Чаще всего такую выборку всего подряд в одну кучу не делают. Но если все-таки действительно нужно получить все подряд, даже при пустых таблицах, то нужно использовать left join (для пустой таблицы, в таком случае в выборке "занулятся" только колонки этой таблицы, а не все данные).
Почитайте подробнее про способы соединения таблиц в SQL (поиском "SQL join", "SQL объединение таблиц").

Но судя по названиям таблиц больше похоже, что они у Вас и не связаны между собой логически, так что пихать их в одну выборку и смысла не имеет. Скорее всего Вам нужно делать отдельные выборки логически связанных данных. В объединении таблиц обычно используются те, которые связаны по полям (как в моем примере - поле user_id из таблицы users и orders совпадает, создано для связи между ними). Если же между таблицами (commands, cats) никакой связи реально нет, то бессмысленно их пихать в одну выборку.