Как прокрутить в цикле структуру полученную от Flask-SQLAlchemy?

Question

[pcdesign]

Вот есть такой код с запросом к MySQL:

U = User
I = UserItem 
items = db.session.query(U, I).join(I).filter(U.id == user_id).all()

Если его распечатать с помощью print(items).
То там будет примерно следующеее:

[
(<User(id=21, nickname=Olesya, email=[e-mail], date=2011-11-09 11:02:51)>,
  <UserItem(id=79, user_id=21, name_item=en, razg=1, revers=0, share=None)>),
 (<User(id=21, nickname=Olesya, email=[e-mail], date=2011-11-09 11:02:51)>, 
 <UserItem(id=81, user_id=21, name_item=en, razg=1, revers=2, share=None)>)
и т.д.
 ]

Как прокрутить цикл для UserItem ID (Чтобы вытащить из словаря UserItem все значения ID)?
Как в UserItem добавить новые ключи и значения?

P.S.: Логика такая, что перед тем как послать items в темплейт, мне нужно сначала обратится
к memcached и кое-что получить оттуда.

Answer 1

[Алексей Исмаилов]

for i in items:
  print i.UserItem.id

Запрос возвращает итератор, нет необходимости вызывать .all():

items = db.session.query(U, I).join(I).filter(U.id == user_id)

Насчет добавления ключей поясните подробнее, что вы имеете в виду...

Comments

[pcdesign]

Здравсвуйте! Спасибо за ответ!
for i in items:
print(i.id)
Так в лоб он не дает
AttributeError: 'KeyedTuple' object has no attribute 'id'

Если я кручу еще один цикл, тогда получается:
for i in items:
for a in i:
print(a.id)

В этом случае можно добраться до id.
И то там то id от User, а то id от UserItem.
То есть надо еще выбрать нужный.

На счет ключа ... По UserItem.id дальше идет обращение к memcached и оттуда получается кое-какая
инфа. Соответсвенно, можно, конечно создать отдельный словарь, чего-бы не хотелось и
передать его в темплейт.
А было бы круто засунуть эту информацию взятую из мемкеша прямо в items.

[Алексей Исмаилов]

Понял свою ошибку, обновил ответ, поскольку это KeyedTuple, можно просто вызвать i.U.id
По второму вопросу, в принципе, никто не мешает вам просто сделать i.U.key = value в цикле, но мне как-то кажется, не очень это хорошо...

[pcdesign]

Спасибо. Да, так четка работает!
А на счет i.U.key = value в цикле, как на ваш взгляд канонично?
Сформировать отдельный словарь и передать его в темплейт?

[pcdesign]

P.S. И кстати, если в конце не ставить .all(), то в этом случае print(items) - пустой. Ничего не печатает.

[Алексей Исмаилов]

Ответ на этот вопрос сильно зависит от задачи, можно добавлять атрибуты, если будет гарантировано, что код, который этим пользуется, всегда будет его получать. Ну и потом чтобы в этом разобраться можно было: все таки бывает, что сам уже не помнишь, где и как решал задачу. А так вообще, я не пользовался memcached и решениями с кешированием, может, там это распространено =)
С .all() весьма странная история, должен как минимум _repr_ объекта вывести...

[Алексей Исмаилов]

Я вот сейчас подумал... Тут, наверное, лучше написать класс-сателлит для данных из memcached, и как-то его связать с моделью, или даже сделать transient поле/метод у модели, и туда записывать нужную инфу. Ну или даже сделать так, чтобы инстанс модели сам получал нужное ему, а в контроллере просто метод вызвать в цикле. Тут много способов, я не знаю, что и как там у вас, но решить можно.

[pcdesign]

- Да, это интересная идея. Даже не задумывался о таком. Спасибо.
Хотя все получение из мемкеша сводится к одной строке:
cached = cache.get(i.UserItem.id)

- На счет .all(), без него никуда, print(items) - не печатает. Но если в цикле крутить и попробовать распечатать print(i.UserItem.id), тогда и без .all() работает. Может это с версиями как-то связано.
Вот что pip freeze показывает у меня:
Flask==0.10.1
Flask-Cache==0.13
Flask-Migrate==1.3.0
Flask-Mobility==0.1.1
Flask-PyMemcache==0.0.5
Flask-SQLAlchemy==2.0
Flask-Script==2.0.5
Jinja2==2.7.3
Mako==1.0.0
MarkupSafe==0.23
SQLAlchemy==0.9.8
Werkzeug==0.9.6
alembic==0.7.3
flask-memcache-session==2.0
gunicorn==19.1.1
inflect==0.2.4
itsdangerous==0.24
mysql-connector-python==2.0.2
pylibmc==1.4.1
pymemcache==1.2.8
python3-memcached==1.51
requests==2.5.1
six==1.9.0
sqlacodegen==1.1.5
transliterate==1.7.3

Python 3.4.1

[Алексей Исмаилов]

Как интересно, вообще ничего не печатает? None? И for i in items: print i тоже ничего? Это очень странно... Может, потому что питон третий? Да нет, не может такого быть =)
print(items) должен, вообще говоря, вывести текст запроса SQL.

[pcdesign]

Алексей Исмаилов: В цикле: for i in items: print(i) - печатает то что он получил с mysql, то есть данные.

А без цикла print(items) - только текст запроса sql.
Если .all() добавляю, то печатает и запрос и полученные данные.

[Алексей Исмаилов]

А надо именно чтобы печатал все данные через print? Все же тут предполагается, что над данными будет проводиться какая-то обработка в цикле, потому лучше без all(), т.к. таким образом вы не будете забивать память лишний раз, ну и время на это тратить тоже не будете. Для больших коллекций это имеет значение.

[pcdesign]

Для отладки удобно. Сразу видно, что пришло.
Но получается перед выходом в продакшен надо будет поудалять .all()
Вот жеж как оно бывает. Потом бы думал и гадал почему подтормаживает :)

[Алексей Исмаилов]

Для отладки я бы отдельно через logger.debug() выводил информацию, там и в логи (в т.ч. с временной и размерной ротацией) выводить можно, и в консоль. См. https://docs.python.org/2/library/logging.html и https://docs.python.org/2/howto/logging.html
Даже в базу через тот же SQLA =)
Причем, логи лучше вывести отдельно от кода:
import logging
log = logging.getLogger(...)
...
if app.Debug:
items = <...>.all()
log.debug(items)
Ну или как-то так =)

[pcdesign]

Алексей Исмаилов: Спасибо.
Добавил вот такой код:
pastebin.com/xTvKhyHg
Логи появились, даже ротейтятся.

[pcdesign]

На счет добавления нового ключа
"никто не мешает вам просто сделать i.U.key = value в цикле",
а вот не работает таким образом.
ничего не добавляется.
В items - после цикла нету ключа key, со значением value

[Алексей Исмаилов]

интересно, почему, проверил сейчас, у меня все есть...

[Алексей Исмаилов]

Можно посмотреть на кусок кода с циклом?

[pcdesign]

U = User
I = UserItem
items = db.session.query(U, I).join(I).filter(U.id == user_id)
for i in items:
i.UserItem.key = 'value'
print(items)
pastebin.com/ACHYFjbM
при распечатке в print, соответственно нету ключа key со значением value

[Алексей Исмаилов]

а items никак не меняется? Просто если следовать коду, то items все так же должен при print выводить текст SQL запроса. Вот если вместо print(items) написать for i in items: print i.UserItem.key, он выведет значение?

[Алексей Исмаилов]

for i in items: print(i.UserItem.key); конечно, у нас же 3 Python =)

[pcdesign]

Ну прикол, конечно.
В общем так:
1) for i in items: print(i.UserItem.key) - печатает value. Все ок.

2) print(items) - печатает sql запрос. И все что находится внутри items, все данные, кроме key = value. Это меня сильно смущало, я поэтому даже до темплейта не доходил.
Думал, что раз такая пьянка, нет смысла дальше кружить темплейты.

3) Передал items=items в темлпейт. Там все распечаталось как надо.

{{ item.UserItem.key }}
{{ item.UserItem.id }}

Большое спасибо за помощь!

[Алексей Исмаилов]

Это не прикол. Не вы ли задавали вопрос про дампер и __repr__? Если да, то там я подсказал решение для ограниченной выборки атрибутов mapped-инстанса, соответствующих колонкам таблицы, даже без ассоциаций. Атрибут, который здесь добавляется «на лету», таковым не является, потому и тот __repr__, что у вас выводится, не выведет этот атрибут (как и множество других, что есть в объекте).
Дебаг все таки лучше делать более явно, и отдельно от основного когда.

[pcdesign]

Да, я понял теперь на счет __repr__. Логично.
Я смотрел лекцию намедни:
https://events.yandex.ru/lib/talks/2511/
Там сказали, что более канонично использовать print, везде где это только можно.
А не лезть в дебаг.
Вот послушался гуру :)

[Алексей Исмаилов]

Ха! python-lab.blogspot.ru/2012/08/print-logging-pytho... xD

[pcdesign]

Алексей Исмаилов: 58 -минута, если вам интересно. Он с точки зрения unix way - это рассматривает.
:)

[Алексей Исмаилов]

Ну, python не только на unix-like рассчитан, и вообще, systemd это вообще, к примеру, antiunix-way, но как-то пихают... =)