使用'spawn'启动redis进程,但面临typeerror:cannot pickle\u thread.lock对象

6bc51xsx  于 2021-06-08  发布在  Redis
关注(0)|答案(1)|浏览(323)

我必须使用'spawn'来启动进程,因为我需要在进程之间传输cudaTensor。但是使用'spawn'创建redis进程总是面临类型错误:不能pickle\u thread.lock对象
出于某种原因,此代码删除了某些部分
看来只有用“叉子”才行

import redis
from torch.multiprocessing import Process

class Buffer(Process):

    def __init__(self, name=0, num_peers=2, actor_queue=0, communicate_queue=0):
        Process.__init__(self)

        #some arguments
        self.actor_queue = actor_queue
        self.communicate_queue = communicate_queue

        pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
        self.r = redis.Redis(connection_pool=pool)
        self.r.flushall()

    async def write(self, r):
    #do sth

    async def aggregate(self, r):
    #do sth

    def run(self):
        name_process = mp.current_process().name + str(mp.current_process().pid)
        print('starting...', name_process)
        loop = asyncio.get_event_loop()
        asyncio.set_event_loop(loop)
        tasks = asyncio.gather(
            loop.create_task(self.write(self.r)),
            loop.create_task(self.aggregate(self.r)),
        )
        try:
            loop.run_until_complete(tasks)
        finally:
            loop.close()

if __name__ == '__main__':
    mp.set_start_method('spawn')

    queue = mp.Queue(maxsize=5)
    queue.put('sth')
    name = 'yjsp'
    num_peers = 2
    p =Buffer(name, num_peers, queue, c_queue)
    p.start()
bf1o4zei

bf1o4zei1#

问题解决了!
我们应该在run()中定义pool和其他东西
原因是:线程在进程内部活动,进程启动子进程以启用并行。线程需要锁来避免资源问题,就像多个进程获取相同的资源并导致死锁一样。
若我们在run()中定义池,当我们进入run()方法时,我们已经在子进程中了。
就这样

def run(self):
        pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
        r = redis.Redis(connection_pool=pool)
        r.flushall()

相关问题