您要使用ScrapyFileLogObserver。

import logging
from scrapy.log import ScrapyFileLogObserver

logfile = open('testlog.log', 'w')
log_observer = ScrapyFileLogObserver(logfile, level=logging.DEBUG)
log_observer.start()

我很高兴你问了这个问题，我一直想自己做这个。

使用以下命令可以很容易地重定向输出：scrapy some-scrapy's-args 2>&1 | tee -a logname
这样，所有scrappy输出到stdout和stderr的内容都将被重定向到一个日志名文件，并打印到屏幕上。

对于那些在阅读当前文档版本之前来到这里的人：

import logging
from scrapy.utils.log import configure_logging

configure_logging(install_root_handler=False)
logging.basicConfig(
    filename='log.txt',
    filemode = 'a',
    format='%(levelname)s: %(message)s',
    level=logging.DEBUG
)

我知道这是旧的，但这是一个真正有帮助的职位，因为类仍然没有正确地记录在Scrapy文档。而且，我们可以跳过导入日志和直接使用scrapy日志。谢谢所有！

from scrapy import log

logfile = open('testlog.log', 'a')
log_observer = log.ScrapyFileLogObserver(logfile, level=log.DEBUG)
log_observer.start()

正如刮骨官所说：
Scrapy使用Python内置的日志系统来记录事件。
因此，您可以像配置普通Python脚本一样配置记录器。
首先，您必须导入日志模块：

import logging

您可以将此行添加到蜘蛛：

logging.getLogger().addHandler(logging.StreamHandler())

它添加了一个流处理程序以将日志记录到控制台。
之后，您必须配置日志文件路径。
添加一个名为custom_settings的dict，其中包含spider指定的设置：

custom_settings = {
     'LOG_FILE': 'my_log.log',
     'LOG_LEVEL': 'INFO',
     ... # you can add more settings
 }

全班同学看起来都像：

import logging

class AbcSpider(scrapy.Spider):
    name: str = 'abc_spider'
    start_urls = ['you_url']
    custom_settings = {
         'LOG_FILE': 'my_log.log',
         'LOG_LEVEL': 'INFO',
         ... # you can add more settings
     }
     logging.getLogger().addHandler(logging.StreamHandler())

     def parse(self, response):
        pass

不再支持ScrapyFileLogObserver。您可以使用标准python日志记录模块。

import logging
logging.getLogger().addHandler(logging.StreamHandler())

到Scrapy 2.3为止，上面提到的解决方案对我都不起作用。另外，文档中找到的解决方案导致每个消息都覆盖日志文件，这当然不是您想要的日志。我找不到将模式更改为“a”（附加）的内置设置。我使用以下配置代码实现了对file和stdout的日志记录：

configure_logging(settings={
    "LOG_STDOUT": True
})
file_handler = logging.FileHandler(filename, mode="a")
formatter = logging.Formatter(
    fmt="%(asctime)s,%(msecs)d %(name)s %(levelname)s %(message)s",
    datefmt="%H:%M:%S"
)
file_handler.setFormatter(formatter)
file_handler.setLevel("DEBUG")
logging.root.addHandler(file_handler)

另一种方法是禁用Scrapy的日志设置并使用自定义设置文件。
settings.py

import logging
import yaml

LOG_ENABLED = False
logging.config.dictConfig(yaml.load(open("logging.yml").read(), Loader=yaml.SafeLoader))

logging.yml

version: 1
formatters:
  simple:
    format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
handlers:
  console:
    class: logging.StreamHandler
    level: INFO
    formatter: simple
    stream: ext://sys.stdout
  file:
    class : logging.FileHandler
    level: INFO
    formatter: simple
    filename: scrapy.log
root:
  level: INFO
  handlers: [console, file]
disable_existing_loggers: False

示例_蜘蛛.py

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["example.com"]
    start_urls = ["http://example.com/"]

    def parse(self, response):
        self.logger.info("test")
        pass