Что предпочтительнее в python — проверять значение в словаре или обработать исключение исключение?

Question

[Antonio Solo]

Какой из вариантов для системы кеширования предпочтительнее?

D = dict()

def f1(x):
    if x not in D:
        D[x] = long_calculation()
    return D[x]

def f2(x):
    try:
        return D[x]
    except:
        D[x] = long_calculation()
    return D[x]

Comments

[javedimka]

Предложу посмотреть как реализован functools.lru_cache

Answer 1

[Сергей Горностаев]

Easier to ask for forgiveness than permission. This common Python coding style assumes the existence of valid keys or attributes and catches exceptions if the assumption proves false. This clean and fast style is characterized by the presence of many try and except statements. The technique contrasts with the LBYL style common to many other languages such as C.

https://docs.python.org/3/glossary.html

Comments

[Сергей Горностаев]

Dr. Bacon, я тоже предпочитаю проверки и значения по умолчанию. Но я ещё и код в функциональном стиле люблю писать, не смотря на многочисленные заявления Гвидо, что Python не предназначен для ФП, а модуль functools - это помойка для всякой ненужной херни.

Answer 2

[Сергей П]

Вы можете сами произвести замеры, но ставлю на то, что быстрее окажется проверка по словарю, поскольку она делается за ~O(1) благодаря хешированию.
Однако я бы предложил чуть более эффективню схему:

D = dict()
NOTFOUND = object()

def f1(x):
    result = D.get(x, NOTFOUND)
    if result is NOTFOUND:
        result = D[x] = long_calculation()
    return result

Не поленитесь (как я), сделайте замеры. Всем тут будет интересно.
А ещё в питоне как-то не принято экономить на спичках в ущерб чтаемости и прозрачности кода.
Но если всё как следует "посахарить"... Лучше всего такое кэширование смотрится в виде декоратора.

UPD:
Забавно. Я ошибся и с исключением действительно выходит быстрее. На это указал уже автор вопроса, а я на всякий случай пересчитал, причем по отдельности для прогрева, для повторного взятия и для неполучения из прогретого хеша.

import time
from math import tan, atan
import timeit


NOTFOUND = object()


def long_calculation(x):
    return atan(tan(x) / 2)


def f1(x):
    if x not in D:
        D[x] = long_calculation(x)
    return D[x]


def f2(x):
    try:
        return D[x]
    except:
        D[x] = long_calculation(x)
    return D[x]


def f3(x):
    result = D.get(x, NOTFOUND)
    if result is NOTFOUND:
        result = D[x] = long_calculation(x)
    return result


FUNCS = (
    (f1, 'get triple'),
    (f2, 'except'),
    (f3, 'get once'),
)


def work(f, gap=0.1, count=1000):
    for x in range(0, count):
        f(x + gap)


D = {}
number = 10000

for func, descr in FUNCS:
    print(f'{func.__name__} ({descr}):')
    print(f'  Cache empty:', timeit.timeit(f"work({func.__name__})", setup=f'D=dict()', globals=globals(), number=number))
    print(f'  Total reuse:', timeit.timeit(f"work({func.__name__})", setup=f'D=dict(); work({func.__name__})', globals=globals(), number=number))
    print(f'  Total miss :', timeit.timeit(f"work({func.__name__})", setup=f'D=dict(); work({func.__name__}, gap=0.2)', globals=globals(), number=number))

И вот результат:

f1 (get triple):
  Cache empty: 2.8940897800493985
  Total reuse: 1.7486431139986962
  Total miss : 1.6964515489526093
f2 (except):
  Cache empty: 1.2670072519686073
  Total reuse: 1.2622331579914317
  Total miss : 1.2547212480567396
f3 (get once):
  Cache empty: 1.6983374420087785
  Total reuse: 1.6465996010228992
  Total miss : 1.6999219709541649

Comments

[Antonio Solo]

import time
from math import tan, atan

D1 = dict()
D2 = dict()
D3 = dict()
NOTFOUND = object()
NNN = 100000

def long_calculation(x):
    return atan(tan(x)/2)

def f1(x):
    if x not in D1:
        D1[x] = long_calculation(x)
    return D1[x]

def f2(x):
    try:
        return D2[x]
    except:
        D2[x] = long_calculation(x)
    return D2[x]

def f3(x):
    result = D3.get(x, NOTFOUND)
    if result is NOTFOUND:
        result = D3[x] = long_calculation(x)
    return result

t0 = time.time()

for j in range(0,NNN):
    for x in range(0, 1000):
        f1(x)

t1 = time.time()

for j in range(0, NNN):
    for x in range(0, 1000):
        f2(x)

t2 = time.time()

for j in range(0, NNN):
    for x in range(0, 1000):
        f3(x)

t3 = time.time()

print(t1-t0, t2 -t1, t3 -t2, sep="\n")

43.94197607040405
32.90516519546509
47.552075147628784

[Сергей П]

Antonio Solo, ага. тоже проверил. занятно. Спасибо за хороший вопрос

Answer 3

[shurshur]

Второй вариант плох уже тем, что ловятся любые исключения, например, если в момент нахождения в этом месте нажать Ctrl-C, то будет пойман KeyboardInterrupt, который приведёт к блоку except. Если и ловить исключение, то явно указывать какое именно.

Кроме того, если в блоке except возникнет exception, то трейс будет ужасный: при обработке исключения возникло исключение... и если таким подходом злоупотреблять, то трейсы могут становиться многоэтажными.

Исключения лучше использовать по их прямому назначению: для отлавливания исключительных ситуаций.

Comments

[Сергей П]

Но как ни парадоксально, в данном случае это все же самый быстрый способ, а ошибку конечно нужно перехватывать конкретную.

[shurshur]

Сергей Паньков, но при этом если пользователя реально волнуют микроскопические доли секунды, он вряд ли будет писать подобный алгоритм на python.

[Сергей П]

shurshur, верно. Вопрос тут в масштабном коэффициенте. Тут же с кэшированием просто частный случай, а так полезно понимать как именно будет эффективнее. В данном случае исключение будет работать быстрее, хотя интуитивно кажется иначе. Если заглянуть в исходники встроенных библиотек, там тоже часто именно так поступают, а не мим (третьим) способом, который кажется более питнячьим.
Иногда есть ситуации. когда переезжать на Си еще равно, но оптимизироваться уже можно разгрузив какое-то узкое горлышко раза в полтора вот таким вот способом.
К примеру, мне приходиось писать реалтаймовый сервер для ММОРПГ на питоне и там такого уровня оптимизации уже не были бессмысленными и позволяли существенно уменьшить накладные расходы на шардирование навалив больше клиентов в один инстанс и сделав более редкой необходимость сериализации\десериализации при передаче юнитов между шардами..

Answer 4

[o5a]

Есть setdefault

D = dict()

def f1(x):
    return D.setdefault(x, long_calculation())

Comments

[Antonio Solo]

никогда так не делай.