Python при использовании numba появляется ошибка не типизированного класса, как исправить?

Question

[artshelom]

У меня есть класс который отвечает за расчеты, мне нужно чтобы он в несколько поток считал большое кол-во данных.
Я решил это делать на GPU. Но при старте пишет ошибку:

spoiler

Compilation is falling back to object mode WITHOUT looplifting enabled because Function "exampleGPU" failed type inference due to: Untyped global name 'Slope0723': cannot determine Numba type of <class 'type'>

File "SlopeWithGPU.py", line 647:
def exampleGPU(dxC, dxK):
    <source elided>
    SurfaceSlope = [[0, 0], [20, 0], [120, 100], [140, 100]]
    return Slope0723().slopeCalculate(35, 2.5, 0.05, SurfaceSlope, 'red', dxC, dxK)
    ^

  @vectorize(['float32(float32, float32)'], target='parallel')
C:\Users\User\AppData\Local\Programs\Python\Python37-32\lib\site-packages\numba\compiler.py:742: NumbaWarning: Function "exampleGPU" was compiled in object mode without forceobj=True.

File "SlopeWithGPU.py", line 645:
@vectorize(['float32(float32, float32)'], target='parallel')
def exampleGPU(dxC, dxK):
^

  self.func_ir.loc))
C:\Users\User\AppData\Local\Programs\Python\Python37-32\lib\site-packages\numba\compiler.py:751: NumbaDeprecationWarning: 
Fall-back from the nopython compilation path to the object mode compilation path has been detected, this is deprecated behaviour.

For more information visit http://numba.pydata.org/numba-doc/latest/reference/deprecation.html#deprecation-of-object-mode-fall-back-behaviour-when-using-jit

File "SlopeWithGPU.py", line 645:
@vectorize(['float32(float32, float32)'], target='parallel')
def exampleGPU(dxC, dxK):
^

  warnings.warn(errors.NumbaDeprecationWarning(msg, self.func_ir.loc))
Traceback (most recent call last):
  File "C:/Users/User/Desktop/geomechanica/SlopeWithGPU.py", line 644, in <module>
    @vectorize(['float32(float32, float32)'], target='parallel')
  File "C:\Users\User\AppData\Local\Programs\Python\Python37-32\lib\site-packages\numba\npyufunc\decorators.py", line 123, in wrap
    return vec.build_ufunc()
  File "C:\Users\User\AppData\Local\Programs\Python\Python37-32\lib\site-packages\numba\npyufunc\ufuncbuilder.py", line 236, in build_ufunc
    dtypenums, ptr, env = self.build(cres, sig)
  File "C:\Users\User\AppData\Local\Programs\Python\Python37-32\lib\site-packages\numba\npyufunc\parallel.py", line 181, in build
    dtypenums.append(np.dtype(signature.return_type.name).num)
TypeError: data type "pyobject" not understood

Сам код:

@vectorize(['float32(float32, float32)'], target='parallel')
def exampleGPU(dxC, dxK):
    SurfaceSlope = [[0, 0], [20, 0], [120, 100], [140, 100]]
    return Slope0723().slopeCalculate(35, 2.5, 0.05, SurfaceSlope, 'red', dxC, dxK)

start_time = time.time()

for dxC in seq(4, 6, 0.01):
    for dxK in seq(1, 2, 0.01):
        SummC = exampleGPU((dxC, dxK))
        if(math.isnan(SummC) == False):
            print(SummC, ' self=', dxC, dxK)

Как можно запустить в несколько потоков на GPU?

Answer 1

[Andrey Dugin]

1) В данный момент ваш код не имеет никакого отношения к GPU.
2) В вызове exampleGPU((dxC, dxK)) вы передаёте tuple, т.е. pyobject, а в соответствии с описанием в @vectorize ожидаются два float32: TypeError: data type "pyobject" not understood
3) Приводите весь код. Из этого куска ничего не понятно по типам и структурам данных.
4) Запихивать в векторизуемую функцию создание объекта и вызов внешней Python-функции (да ещё наверняка не векторизованной) - плохая практика: NumbaWarning: Function "exampleGPU" was compiled in object mode without forceobj=True
5) Рекомендую сначала разобраться с numpy. Судя по использованию модуля math, с numpy вы не дружите.

Comments

[artshelom]

2. Спасибо исправил!
3. По структурам данным и типам используются только массивы float32
4. Вот тут вы абсолютно правы, заменил на jit.

Slope0723().slopeCalculate - занимается расчетом на выходе мы получаем float32 число.

С math время прохождения: 1349.908 секунд
С numpy время прохождения: 2688.829 секунд

Так что я оставлю math.

Запустил тесты, но видеокарта нагружается только на 1-6% Как можно увеличить нагрузку, чтобы быстрее считалось? параметры у (['float32(float32, float32)'], parallel=True)

[Andrey Dugin]

1. Видимо, вы не умеете пользоваться numpy, поэтому math у вас каким-то чудом работает быстрее.
2. Замена на jit тут тоже особо не решает, т.к. всё равно у вас внутри функции остаётся вызов питоновского класса. Попробуйте переписать так, чтобы декоратор @njit, же @jit(nopython=True), не выбрасывал ошибку, т.е. внутри не было бы питоновских вызовов, которые numba не может нормально скомпилировать.
3. Прочитайте описание к vectorize. Этот декоратор делает из скалярной функции векторную. Выставление target='parallel' не имеет отношения к GPU.
4. Векторизовать надо функцию slopeCalculate, а не exampleGPU. А также ваши циклы for, причём в первую очередь.