Как получить числовой массив из базы данных?

Question

[Dmitry]

У меня написан интерфейс для работы пользователей с базой данных. Пользователи могут выбрать различные показатели, а так же сами столбцы которые им нужно выгрузить на сайте(выбор происходит выпадающим списком).

Я хочу реализовать автоматическое построение графиков исходя из выбора пользователя.

/* Выбранные показатели в массиве данных */
selected_stations =  [str(i) for i in request.form.getlist("station")]
/* Выбранные столбцы в массиве данных */
selected_columns = [str(i) for i in request.form.getlist("columns")]
/* теперь нужно из выбранного столбца получить массив  <b>такого типа [9124, 8652, 7592]</b>
<b>data_values = ?</b>

dpi = 80
fig = plt.figure(dpi = dpi, figsize = (512 / dpi, 384 / dpi) )
mpl.rcParams.update({'font.size': 10})

plt.title('OpenStreetMap Point Types')

ax = plt.axes()
ax.yaxis.grid(True, zorder = 1)

xs = range(len(selected_stations))

plt.bar([x + 0.05 for x in xs], [ d * 0.9 for d in data_values],
        width = 0.2, color = 'red', alpha = 0.7, label = '2016',
        zorder = 2)
plt.bar([x + 0.3 for x in xs], data_values,
        width = 0.2, color = 'blue', alpha = 0.7, label = '2017',
        zorder = 2)
plt.xticks(xs, selected_stations)

fig.autofmt_xdate(rotation = 25)

plt.legend(loc='upper right')
fig.savefig('bars.png')

если написать подобный цикл

for row in rows:
print("sum=", row[4])

я получаю вывод чисел в столбец.

Вопрос: Как мне реализовать числовой массив исходя из столбца выбранного пользователем?

Comments

[Максим Припадчев]

Ничего не понятно.
1. rows нигде не инициализирован.
2. Где сам массив который ты получаешь из базы данных не очевидно. (selected columns) это просто имена колонок или таблица?
3. plotly тут не причем ты используешь matplotlib.
4. Где инициализирован data_values и что это за объект ты не рассказал.

Так могу предположить. Из data_values надо создать pandas фрейм. Задать в нем имена колонок. И потом выбирать подсет из данного фрейма на основе именованных индексов (рядов и/или колонок).

[o5a]

Не совсем понятно, чего именно хотите. Если просто обращаться к результатам запроса в БД по именам полей, то можно указать использовать курсор в виде словаря - для Pg https://www.psycopg.org/docs/extras.html#dictionar...

cur = conn.cursor(cursor_factory=psycopg2.extras.DictCursor)
rows = cur.execute(...).fetchall()
for row in rows:
    print(row['название_поля'])

[Dmitry]

Максим Припадчев, o5a,

1)# Функция подключения к БД
def get_connection():
with psycopg2.connect(**params) as conn:
return conn

# Функция выполнения запроса
def execute_query(query, params=None):
conn = get_connection()
cur = conn.cursor()
cur.execute(query, params)
rows = cur.fetchall()
cur.close()
conn.close()
return rows

2) selected columns - это я получаю имена выбранных пользователем столбцов

4) В data_values я хочу получить массив, который будет соответствовать числам из выбранного пользователем столбца, к примеру, пользователь выбирает Год (1й столбец), наименование станции(2й столбец - в нем просто всегда будет написано наименование станции) и столбец "Январь"(3й столбец), в столбце "Январь" будут идти числа для выбранного года и одного из выбранный показателей, к примеру, выработка.

Надеюсь стало понятнее.

[Максим Припадчев]

Dmitry, Стало понятней, смотри rows у тебя это список кортежей. Либо как указал o5a и потом прописывать условия, либо я для такого всегда использую pandas. у него есть метод read_sql. Который принимает запрос первым параметром и соединение вторым. Псевдо код будет такой. df = df.read_sql(query, connection)
Затем ты легко выберешь абсолютно любой подсет из этих данных.
Например твой выбор подсета псеводо код будет такой.

year = Указанный пользователем год
st_name = Указанное имя станции
january = указанное число выработки
df[(df['Год'] == year) & (df['Наименование станции'] == st_name) & (df['Январь'] == january)]

Вот так он вернет массив (ряд) который удовлетворяет всем трем условиям. Возможен конечно же фильтр и на уровне sql запроса. Зависит конечно же от объема, но лучше не долбать базу а иметь фрейм и из него извлекать всю нужную инфу, если конечно же объемы позволяют.

[o5a]

Dmitry, так понятнее. Насколько понял, хотите делать динамический запрос в зависимости от набора выбранных параметров. Тогда или как предложили выше, через pandas (сначала запросить весь массив данных, затем отфильтровать по этим параметрам), или же подставлять эти значения в сам запрос.

cur.execute("select поле_значения from нужная_таблица where year = %s and month = %s and station = %), (year, month, station)).fetchall()

Т.е. в запросе указываем названия столбцов в самой таблице БД и вторым параметром передаем соответствующие значения, которые выбрал пользователь. На выходе получаем вложенный список значений, удовлетворяющих данному фильтру. Который потом можете просто преобразовать в обычный список.

[Dmitry]

o5a, Максим Припадчев

сам запрос я прописал уже, у меня это выглядит так

query = ("SELECT {} FROM fact_bp WHERE year = ANY(%s) AND indicators = ANY(%s) AND station_name = ANY(%s);"
                    .format(",".join(["\"{}\"".format(c) for c in columns])))
        rows = execute_query(query, (selected_years, selected_indicators, selected_stations))

таблица выводится корректно, исходя из выбранных показателей и столбцов, все работает.

но как мне лучше сейчас передать числа из выбранных столбцов для визуализации данных?
т.е как в самом посте приведен пример для построение графика на matplotlib,
ось x - это моя переменная selected_indicators, к примеру, она будет иметь вид ['Станция 1', 'Cтанция 2', ...]
ось у - пользователь решил выбрать месяц Январь, показатель выработка, год 2022
Теперь на ось у я должен тоже передать массив данных из столбца Январь в таком виде [9124, 8652, 7592]
Вот этот момент не понимаю как реализовать.

Либо я может что-то усложняю и есть более легкий/понятный способ для рисования графиков/диаграмм для БД?
Если что можно использовать любые библиотеки, не обязательно matplotlib.

[o5a]

Dmitry,

Теперь на ось у я должен тоже передать массив данных из столбца Январь в таком виде [9124, 8652, 7592]
Вот этот момент не понимаю как реализовать.

Почему "столбца Январь"? Что за структура данных у вас такая странная? Столбцы год, месяц, станция - это ваши условно говоря столбцы признаков. А данные соответственно в своем столбце: если это какая-то сумма, то 'amount' например, или еще какой-то показатель. Это поле в SELECT запроса и выдавайте.
Приведите лучше пример ваших данных в таблице (значения полей построчно) и что от запроса хотите для этих данных получить.

[Максим Припадчев]

Dmitry, Не комментируя твой запрос, я так и не понял а в чем проблема. Я сейчас уже начну фантазировать по скольку не понимаю. С осью x у нас все понятно, ось y у нас имеет вложенную структуру год, месяц, и затем данные. Ну так они у нас есть ты же их получил. В чем проблема? Ты либо покажи график как оно должно быть, либо покажи массив из которого у тебя не получается вытащить данные. На словах все равно ничего не понятно.