在提出这个问题之前,我已经搜索了很多关于“跨线程共享同一db连接”的内容。我得到的答案大多是否定的,而是使用连接池,但很少有人详细解释为什么我们不能这样做。
然后我使用多处理和多线程编写了一个示例代码,我正试图解决它,但仍然有一些困难要解决。我得到的是:
多重处理:
import multiprocessing as multiprocessing
import pymysql
conn = pymysql.connect(host='localhost', port=3306, user='root', passwd='123456', db='test')
def operate(sql):
cur = conn.cursor()
cur.execute(sql)
cur.close()
return cur.fetchall()
pool = multiprocessing.Pool(4)
res = []
for seq in range(1, 3):
sql = "SELECT * FROM `user` WHERE `id` = %d" % seq
p = pool.apply_async(operate, [sql, ])
res.append(p)
pool.close()
pool.join()
conn.close()
for j in res:
print(j.get())
正如所料,此代码无法正常工作:
((None, None, 1, 'ttt', 'hhh', 1, 0, ''),) # process1
((None, None, 2, 'zzz', '1256', 1, 0, ''),) # process2 (1), this is normal output and should be what we want.
((None, None, 2, 'zzz', '1256', 1, 0, ''),)
((None, None, 1, 'ttt', 'hhh', 1, 0, ''),) # (2), this is incorrect output.
跑了很多次,要么得到(1)要么得到(2)。原因(我认为)是:虽然多进程并行运行,但process1的调用仍然早于process2。对于mysql,哪个进程的查询首先完成还不确定。如果process2提前完成,因为它们共享同一个连接,连接会按照调用的顺序返回数据,所以我得到了情况(2),否则得到了情况(1)。我说得对吗?
多线程
import multiprocessing.dummy as multithread
import pymysql
from queue import Queue
conn = pymysql.connect(host='localhost', port=3306, user='root', passwd='123456', db='test')
def operate(sql):
cur = conn.cursor()
cur.execute(sql)
cur.close()
res.put(cur.fetchall())
pool = multithread.Pool(4)
res = Queue()
for seq in range(1, 3):
sql = "SELECT * FROM `user` WHERE `id` = %d" % seq
p = pool.apply_async(operate, [sql, ])
pool.close()
pool.join()
conn.close()
print(res.get())
最初我认为这段代码的结果将是相同的多处理,但结果不同。它要么打印进程1,要么打印进程2,甚至在那里结巴。为什么?
将db隔离级别更改为serializable可以解决此问题吗?
我试过了。对于多重处理来说,这似乎是可行的;但对多线程没有影响。理论上应该有用,不是吗?如果是这样,我无论如何也不会这么做,只是想办法解决它。
1条答案
按热度按时间34gzjxbg1#
当python程序使用单个
conn
对象,它在单个数据库连接上混合来自多个线程的消息流量(线程<=>mysql)。那不行™.mysql连接对象不是线程安全的。每个需要访问mysql的线程都必须打开自己的连接(mysql连接池对象是线程安全的,因此每个线程都可以从池中安全地请求、使用和释放连接。)
专业提示:当开发复杂的长寿命软件(如
pymysql
)告诉你这不是线程安全的,相信他们。