Используя Google App Engine, возможно ли организовать 100 тыс. запросов к 20 млн. базе записей?

Question

[Alexander2014]

Объем одной записи от 15-ти до 400 байт. Всего их 20 млн.
В сутки к различным (заранее не известным) из этих записей происходит 100 тыс обращений (чтение)
Возможно ли в бесплатном режиме умудриться уложиться в ограничения?
(ухищрениями, хитростями программирования)
По квотам в GAE к datastore разрешено максимум 50тыс операций чтения совершать.

Answer 1

[rPman]

Если это возможно, ничего вы не сказали про запись в эти данные - то кеширование больше половины данных.

Самое быстрое и 'не правильное' - кеширование в оперативной памяти инстанса (статичные мемберы класса), обслуживающего ваши ноды (в бесплатной она одна), там считанные десятки мегабайт оперативки, и нет прямой возможности проконтролировать ее перезапуск (или даже одномоментный запуск двух нод), зато без лимитов по доступу.

Менее быстрое зато правильное - использование штатного memcache (чуть более быстрой базы данных с не гарантированным хранением данных), у нее свои лимиты, проверьте по тарифному плану.

Самое неправильное, если это возможно и выносится на клиентском уровне, продублировать базу данных на несколько разных аккаунтах и соответственно доменах. Например если бы данные были картинками, домен случайным образом можно было бы подставлять в адресе.

p.s. два года назад, бесплатные лимиты на практике были в разы меньше чем заявлено по тарифам - Проблемы с лимитами GAE, почему завышенны Datastore Read Operations?

Comments

[denisgorbunov]

Можно подытожить так: Мемкэш наиболее правильный путь решения проблемы. 100 тысяч обращение в сутки против 50 тысяч лимита обращений в БД легко снимается через Мемкэш.

Answer 2

[stahon]

Постоянно решаю эту проблему сериализацией данных и объединением нескольких записей в одну.
Несколько - это чаще всего несколько сотен.