Почему возникает ошибка cannot pickle '_thread.lock' object?

Question

[newPsevdonim]

У меня есть класс и в нем мне нужно вычислить некоторые метрики, так как их очень много я попытался добавить несколько потоков используя multiprocessing. Но я получаю ошибку:
cannot pickle '_thread.lock' object

наткнулся на решение данной проблемы вынесом функции из класса. Я так и поступил, но получаю такую же ошибку. В чем может быть проблема.

Вот мой код:

class StartGetData:
    def start(self):
        tags = self.tags
        while True:
            parametrs = []

            for tag in self.tags:
                if (tag[0] in self.dict_last_time) and (self.dict_last_time[tag[0]] is not None):
                    parametr = {
                            "client": self.client,
                            "tag": tag[0],
                            "database_name": self.database_name,
                            "table_name": self.table_name,
                            "table": self.table_fields,
                            "last_time": self.dict_last_time[tag[0]]
                    }
                else:
                    parametr = {
                            "client": self.client,
                            "tag": tag[0],
                            "database_name": self.database_name,
                            "table_name": self.table_name,
                            "table": self.table_fields,
                            "last_time": None
                    }
                parametrs.append(parametr)

            pool = multiprocessing.Pool(1)
            resalt = pool.map(run_function, parametrs)
            
            pool.close()
            pool.join()

В функции, которая вызывается создаются ссылки на несколько других сингалтон классов (Возможно это важно)

Comments

[Сергей Горностаев]

Покажите полный текст ошибки.

[newPsevdonim]

Сергей Горностаев,

Traceback (most recent call last):
  File "D:\log-classifier\main.py", line 8, in <module>
    StartGetData(
  File "D:\log-classifier\init_modul\StartGetData.py", line 143, in start
    resalt = pool.map(run_function, parametrs)
  File "C:\Users\danila\AppData\Local\Programs\Python\Python39\lib\multiprocessing\pool.py", line 364, in map
    return self._map_async(func, iterable, mapstar, chunksize).get()
  File "C:\Users\danila\AppData\Local\Programs\Python\Python39\lib\multiprocessing\pool.py", line 771, in get
    raise self._value
  File "C:\Users\danila\AppData\Local\Programs\Python\Python39\lib\multiprocessing\pool.py", line 537, in _handle_tasks
    put(task)
  File "C:\Users\danila\AppData\Local\Programs\Python\Python39\lib\multiprocessing\connection.py", line 211, in send
    self._send_bytes(_ForkingPickler.dumps(obj))
  File "C:\Users\danila\AppData\Local\Programs\Python\Python39\lib\multiprocessing\reduction.py", line 51, in dumps
    cls(buf, protocol).dump(obj)
TypeError: cannot pickle '_thread.lock' object

Process finished with exit code 1

[Сергей Горностаев]

newPsevdonim, скорее всего в self.client содержится объект, одно из полей которого не сериализуется. Да и вряд ли сам объект пригоден для разделяемого между разными процессами использования.

[Zanak]

все типы данных загружены с обеих сторон? сомневаюсь, что pickle озаботится этим сам.
сериализовать вручную, и передавать на обработку, например, json - не вариант?

[newPsevdonim]

Zanak планировал изначально возвращать назад обработанный датафрейм, но уже решил эту проблему

А возвращать более простые значения не проблема.

Answer 1

[Vindicar]

pickle используется для проброса данных между процессами, и оно умеет сериализовывать только примитивы и простые коллекции. Какое-то из передаваемых тобой значений в parameters не подпадает под это определение.
Я подозреваю что это self.client, но это уже тебе надо проверять.
Ещё раз: в другой процесс можно передавать числа, строки, логические значения, кортежи, списки, словари. Всё остальное - без гарантий.

Comments

[newPsevdonim]

Vindicar Спасибо большое помогло

А он случайно не сможет прокинуть pandas.DataFrame не знаете?

[Vindicar]

newPsevdonim, пробуй. Если коротко, можно научить свой класс работать с pickle, но я сильно сомневаюсь что пандас этим заморачивались. Да и потом, гонять объёмные данные через pickle - плохая идея. Попробуй конструировать dataframe на месте.