如何在Scrapyd中设置max_proc_per_cpu

fnx2tebb  于 2022-10-22  发布在  Python
关注(0)|答案(1)|浏览(174)

我有以下两个Scrapy项目,配置如下
项目1的scrapy.cfg

[settings]
default = Project1.settings
[deploy]
url = http://localhost:6800/
project = Project1

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
logs_to_keep = 500
dbs_dir     = dbs
max_proc    = 5
max_proc_per_cpu = 10
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application

和项目的scrapy.cfg

[settings]
default = Project2.settings
[deploy]
url = http://localhost:6800/
project = Project2

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
logs_to_keep = 500
dbs_dir     = dbs
max_proc    = 5
max_proc_per_cpu = 10
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application

但是当我查看http://localhost:6800/jobs时,我总是看到只有8个项目在运行,这意味着默认的max_proc_per_cpu没有应用,我使用以下命令删除这些项目
curl http://localhost:6800/delproject.json -d project=Project1以上
curl http://localhost:6800/delproject.json -d project=Project2
并再次部署它们以确保部署了新的更改。但奔跑的蜘蛛数量仍然是8。
我的VPS CPU有两个内核。我可以用python -c 'import multiprocessing; print(multiprocessing.cpu_count())'得到它。
如何获得Scrapyd部署配置?如何设置每个cpu的最大进程数?

inn6fuwd

inn6fuwd1#

根据文档,在类Unix系统中,首先在/etc/strapyd/strapyd中查看配置文件。conf位置。我在这里输入了配置文件,但它不起作用。最后,当我留着羊皮屑时,它起了作用。conf文件作为scrapy服务器启动目录中的隐藏文件。对我来说,它恰好是主目录。
您可以在此处阅读详细信息:https://scrapyd.readthedocs.io/en/stable/config.html

相关问题