Как «хешировать» код функции в Python?

Question

[Александр Куракин]

Делаю (велосипедный) кеш вызовов функций (memoizing) в Python 3. Одна из подзадач - хешировать функции (имеется ввиду, код функций).

Надо хешировать обычные функции:

def f(a):
    return a > 0

А также производные,
another_func = conjunction(f, g)
полученные с помощью

import functools
def conjunction(*funcs):
    def conjunct(*args, **kwargs):
        return functools.reduce(lambda total_result, next_function: total_result and next_function(*args, **kwargs), funcs, True)
    return conjunct

Решил использовать f.__code__.co_code, но не учитываются вызываемые в функции функции. Также есть подозрение (не подтвержденное), что даже при неизменности функции, меняется f.__code__.co_code (возможно, при очистке внутреннего кеша Python).

Подскажите что-нибудь, пожалуйста? Может есть библиотека для этого (я не нашел)? Спасибо.

Answer 1

[longclaps]

Я бы не заморачиваясь лепил сигнатуру сгенерённой функции, прямо строкой. У вас одна-едиственая фабрика - conjunction, есть, допустим, набор первичных функций - a(...), b(...) и c(...), ну запихните им в докстринг "a", "b", "c", а в conjunction присваивайе докстрингу конкатенцию. И в отладке будет что почитать. Да и для нескольких разных фабрик придумаете.

Comments

[Александр Куракин]

А что именно не так, простите?

[longclaps]

Буквы у слов разные, значение их различно. Вы в гугле посмотрите, там есть )

[Александр Куракин]

Различно. Что не так-то?

[longclaps]

Вы что сделать хотите? Генерить поизвольные функции и отсекать совпадающие по коду?

[Александр Куракин]

Находить совпадающие по коду (желательно, под "кодом" подразумевать код самой функции и код вызываемых функций).

[longclaps]

Александр Куракин: То, что является аргументами функции - не является её кодом, не так ли?

[Александр Куракин]

Не является. Я не вел речь об аргументах.

[longclaps]

Александр Куракин: А это что:

Надо хешировать обычные функции:
.....
А также производные,
полученные с помощью

import functools
def conjunction(*funcs):
    def conjunct(*args, **kwargs):
        return functools.reduce(lambda total_r

[Александр Куракин]

longclaps: Функция conjunction возвращает при вызове функцию. Их (полученные таким образом функции) тоже надо уметь хешировать.

[longclaps]

Александр Куракин: Функциональный подход, в который ты так отважно ринулся, работает с функциями как с данными. Их (полученные таким образом функции) нужно кэшировать с их набором аргументов.

[Александр Куракин]

longclaps: Вы сами не путаете хеширование и кеширование? :-) С кешированием все в порядке, включая аргументы, мне осталось только нормально хешировать код функции.

Давайте останемся в рамках сабжа.

func1 = conjunction(f, g)
func2 = conjunction(g, h)
func3 = conjunction(g, h)
assert( get_hash(func1) != get_hash(func2) )
assert( get_hash(func2) == get_hash(func3) )

[longclaps]

Александр Куракин: Ок, осознал глубину вашей проблемы ) Смотрите, вы возващаете в return functools.reduce(lambda total_r... не просто функцию, а некий объект замыкания. К скоупу утянутых с собой переменных можно как-то добраться руками (кажется, атрибут __closure__), и, конечно, к ним сохраняется доступ из возвращенной функции. Вот всё это хзяйство - не код.

[Александр Куракин]

longclaps: да, вот это уже иное :-) Ок, спасибо!

А если поставить вопрос шире - как бы Вы сделали? В итоге я кеширую значение функции, используя ключ "хеш от кода функции и набора параметров". И, вообще говоря, функции замыкания не используют, побочных эффектов не имеют.

Можно даже принять дополнительное условие - что функции не меняются со временем. Тогда, казалось бы, можно использовать просто их имена. Но для каждой конъюнкции не хотелось бы вручную создавать функцию с именем...

P.S. У меня еще академический интерес, хочу понять, как можно/нужно :-) Но кеш и хеш я-таки не путаю! :-)

[longclaps]

Я бы не заморачиваясь лепил сигнатуру сгенерённой функции, прямо строкой. У вас одна-едиственая фабрика - conjunction, есть, допустим, набор первичных функций - a(...), b(...) и c(...), ну запихните им в докстринг "a", "b", "c", а в conjunction присваивайе докстрингу конкатенцию. И в отладке будет что почитать. Да и для нескольких разных фабрик придумаете.

[Александр Куракин]

longclaps: хм, конкретно идея! Что-то думал похожее, но как-то не вспомнил, что в сгенерированную функцию (сгенерированный объект) можно что-то записать... Спасибо!

Запишите отдельным ответом? Я плюсану.

[longclaps]

Александр Куракин: Ок.
Да, возможно имеет смысл отказаться от reduce в пользу редуцированного подхода - нет смысла продолжать вычисления. если уже насчитан False.