Модуль прозрачного кеширования mysql запросов в memcached

Question

[Mixail]

Существует ли сабж, как модуль perl?
Хотелось бы делать запросы, не думая, что есть фронтенд в виде memcached, и бэкенд в виде mysql.

Answer 1

[pwlnw]

«Прозрачное кеширование» есть в самом mysql.
Оно настолько хорошо и прозрачно работает, что ты про него даже не знаешь.
Проблема возникает тогда, когда нужно кеш инвалидировать. Например, обновление некоторых записей. Поэтому выдуманное тобой прозрачное кеширование вынуждено будет повторить поведение кеша mysql — удалить все запросы содержащие обновляемую таблицу. Ну и зачем писать то, что уже написано?

Отсюда вывод: если хочется что-то ускорить еще быстрее кеша mysql — кеширование не должно быть прозрачным. Для каждого оператора должно хотя бы указываться предположительное время жизни результата в кеше.

Comments

[eternals]

Да, в этот комментарий посмотрите, дело пишут.
Кэш к mysql в memcached делают, когда на говнохостинге памяти под mysql не выделено особо.

[Владимир Чернышев]

Или когда логика поведения кэша mysql не устривает (он, афаик, при запросе на изменение таблицы (любой строки) сбрасывает все кэши запросов, которую эту таблицу задевают, не работая на уровне отдельных записей, со своим кэшем можно настроить более тонкую, а значит и более производительную, политику кэширования)

[Mixail]

В том то и дело, что кеш mysql очень не гибок, и не всегда ясное поведение кеша. Плюс не радужная перспектива выбора между MyISAM и блокировкой на всю таблицу при записи, либо InnoDB и более медленная скорость работы селектов.
Соотношение запросов update/select = 1/10. Специфика приложения такова, что всё что находится в БД, будет использовано в ближайшие время. Не существует старой информации, например, старых новостей, которые никому не потребуются.
Как я понимаю, скорость чтения и записи в memcached намного выше чем в mysql. Так почему бы не использовать память, для хранения информации?
На этот счет у меня есть несколько вариантов:
1) Использовать MEMORY таблицы mysql. Но не думаю что будет работать быстрее чем NoSQL хранилища.
2) Использовать memcached и через определенные промежутки времени делать дампы в mysql(postgres). Привлекает хорошей производительностью и хорошим контролем времени хранения/обновления данных.
3) Использовать Redis. С ним не разу не сталкивался, но возможно стоит задуматься.

[eternals]

И да, и нет. Можно придумать задачу, когда самописный кэш даст существенный выигрыш.
Но как правило, достаточно базовых механизмов. Например, держать кэш в таблицах memory mySQL будет удобнее (функционально) и не менее быстро, чем memcached.

[pwlnw]

>Так я понимаю, скорость чтения и записи в memcached намного выше чем в mysql.
Не обязательно. Даже были где-то тесты, в которых кеш mysql обгонял memcached. В то время memcached не умел работать через unix-сокеты, а только посредством сетевого стека.

Основная мысль в том, что если «делать запросы не думая», то модуль должен быть слишком сложный, парсить SQL и очищать кеш намного хитроумнее, чем это делает простой кеш mysql. Скорее всего такого модуля нет и не будет.

Попробуй лучше скрипт для mysql-proxy. Это позволит понять жизнеспособна ли вообще идея кеширования каждого запроса для твоего приложения.

Answer 2

[pwlnw]

Однако, попробуй подцепить этот скрипт для mysql-proxy: github.com/clofresh/mysql-proxy-cache
разумеется он кеширует все игнорируя логику приложения.

Я плохо понимаю зачем может понадобиться такое решение.
Встроенным кешированием запросов можно управлять явно через ключевые слова SQL_CACHE и SQL_NO_CACHE.

Answer 3

[bdmalex]

Memcached::Client не устроит?

Comments

[Mixail]

Модуль по работе с memcached найти не сложно. А вот модуль для прозрачных запросов — не получилось.
Чтобы не приходилось руками делать запросы сначала к memcached и если не было найденно нужно ключа, делать запрос к mysql и генерить контент, кешируя его.
Хочется обычное действие:
my $d = $memd->get($key);
if (!$d)
{
$sth = $dbh->prepare("SELECT * FROM t1 WHERE id=?);
$sth->execute($key);
$d = $sth->fetchall_arrayref({});
$memd->set($key, $d);
}
$d->....

заменить на:
my $d = module->select('t1', $key);
$d->....


Понятно, что написать такой модуль, не так сложно, но зачем изобретать велосипеды, если уже возможно существует готовое решение.