如何扩展django rq工作程序,使其能够从源目录读取数据并能够写入数据库?

tpgth1q7  于 2021-06-10  发布在  Redis
关注(0)|答案(0)|浏览(176)

如何“规模化”rq员工?
我有这样的建筑

uwsgi/django (machine 1) <=> RQ server (machine 1) <=> RQ worker 1...n (machine 1)

问题是。。rq工作人员正在耗尽所有cpu,因此django/uwsgi在高负载时几乎没有响应
所以我想做点像他那样的事

uwsgi/django (machine 1) <=> RQ server (machine 1)
                                -> RQ worker 1 (machine 2)
                                -> RQ worker 2 (machine 3)
                                -> ...
                                -> RQ worker n (machine n-1)

问题是,我正在使用django rq(rq的django Package 器)。。rq工作者是从一个特定的目录派生出来的,需要能够写入数据库
如果我把rq工人分成其他机器,我需要工人能够
从django源目录读取
能够写入django应用程序数据库

2可以用微服务解决。。但是我有点卡住了

我可以做一些类似sshfs的事情,但我不能100%肯定这在可伸缩性、安全性,当然还有复杂性方面是否是一个“好”的设计(我不想继续添加更多的监视器/软件堆栈)。
当然,在rqworker运行之前,我只需要一个脚本就可以把源代码拉下来,但我想知道是否还有其他人有更好的方法来实现这一点。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题