Уменьшение количества read'ов в GAE. Вопрос по моделированию DS

Question

[zencd]

Допустим есть страница отображающая одну статью. У статьи есть 4 тега. И есть два варианта реализации этого в DataStore. Первый обычный — статья ссылается на записи в другой таблице:

class Article(db.Model):
  tags = db.ListProperty(db.Key)

Вариант второй, менее гибкий — статья не содержит ссылок вовне, но содержит имена (строки) тегов в себе.

class Article(db.Model):
  tags = db.StringListProperty()

Статья выбирается из базы просто: Article.get(key)

Вопрос. Можно ли сказать что запрос страницы вызовет в первом случае 5 операций чтения, а во втором — всего одну? (Операции чтения — те которые учитываются контролем квот.)

Answer 1

[avalak]

Как профилировать приложение:

import os

# ...

if os.getenv('SERVER_SOFTWARE', '').startswith('Dev'):
  # http://localhost:8080/_ah/stats/ - тут появится подробная статистика: запросы, время, вызовы api
  from google.appengine.ext.appstats import recording
  app = recording.appstats_wsgi_middleware(app)

В первом случае можно обойтись двумя вызовами (0 при кешировании выборки в gae memcache):

class Artwork(db.Model):
  refs = db.ListProperty(db.Key)
  @property
  def taxonomy(self):
    return db.get(self.refs)

Можно сократить количество вызовов, передавая в db.get и db.put сразу несколько значений

# 100 вызовов
for tag in tags: db.put(Tag(tag))

# 1 вызов
db.put([Tag(tag) for tag in tags])

Во втором случае будет всего один вызов RPC, тк хранятся строки (0 при кешировании).

Ну и по возможности нужно кешировать выборку в gae memcache, тк это быстрее и запросы туда не учитываются.

PS Nick's Blog — ReferenceProperty prefetching in App Engine — отличные материалы по GAE от Ника Джонсона

Comments

[zencd]

Спасибо за ссылку. Ник и Гвидо похоже единственные люди которые разбираются в GAE :)

Окей, есть групповой get/put, но если скормить им 5 объектов, сколько вычтется из дневной квоты — 5 операций или одна?

[avalak]

Если get, то одна. Если put, то тоже одна, но ещё процессорное время потратится. Так при bulkload легко за несколько секунд реального времени потратить несколько часов CPU (~60k записей).

[avalak]

А нет. Вру. Вот тут свежие и точные данные. get по 1 read операции на сущность. Итого 5 операций.
RPC == API == высокоуровневые операции. А квоты (50k операций) низкоуровневые.

Набросал тестовое приложение, проверил. Всё так.

[zencd]

Не подскажете, кол-во низкоуровневых операций как-то мониторится?

[avalak]

В appstats нет. Только API. Можно только примерно прикинуть сколько вызовов нужно странице.
А в боевом окружении подробная статистика будет в Quota Details. Общее количество операций: квоты read/write + подробная детализация по операциям.