我一直在尝试编辑我的蜘蛛中的一些设置，但它们似乎只有在我覆盖自定义蜘蛛中的custom_settings字典时才能工作。
custom_settings = { 'DOWNLOAD_DELAY': 1, 'FEED_URI': 'generalspider.json', 'FEED_FORMAT': 'json' }
字符串当我把它们放在settings.py上时，它们似乎不起作用。settings.py应该对所有蜘蛛都起作用。我错过了什么吗？
rqdpfwrv1#
custom_settings的优先级高于settings.py。因此，您必须删除custom_settings中的变量，才能让settings.py中的变量工作。另外，请检查您的spider的类是否派生自其他类（可能是spider），并且这些基类有自己的custom_settings。
custom_settings
settings.py
7ivaypg92#
您可以通过在.env文件中设置SCRAPY_SETTINGS_MODULE来告诉scrapy您的设置在哪里这样
.env
SCRAPY_SETTINGS_MODULE
SCRAPY_SETTINGS_MODULE=project.settings.py # path to your settings.py
字符串
或在主蜘蛛
os.environ["SCRAPY_SETTINGS_MODULE"] = "The path to my settings.py file"
型
2条答案
按热度按时间rqdpfwrv1#
custom_settings的优先级高于settings.py。因此，您必须删除custom_settings中的变量，才能让settings.py中的变量工作。另外，请检查您的spider的类是否派生自其他类（可能是spider），并且这些基类有自己的
custom_settings。7ivaypg92#
您可以通过在
.env文件中设置SCRAPY_SETTINGS_MODULE来告诉scrapy您的设置在哪里这样
字符串
或在主蜘蛛
型