Scrapy爬行器:输出缺失

2sbarzqh  于 2023-03-02  发布在  其他
关注(0)|答案(2)|浏览(215)

我一直在使用stackoverflow(https://stackoverflow.com/a/43661172/5037146)上描述的方法,使用Crawler Runner从脚本运行scrappy,以允许重新启动进程。
但是,当通过CrawlerRunner运行流程时,我没有得到任何控制台日志,而当我使用CrawlerProcess时,它输出状态和进度。
代码可在线获得:https://colab.research.google.com/drive/14hKTjvWWrP--h_yRqUrtxy6aa4jG18nJ

wz8daaqr

wz8daaqr1#

使用CrawlerRunner时,您需要手动设置日志记录,这可以使用configure_logging()来完成。https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script

pieyvz9o

pieyvz9o2#

使用CrawlerRunner时,您必须手动配置记录器。您可以使用scrapy.utils.log.configure_logging函数完成此操作
例如

import scrapy.crawler
from my_spider import MySpider

runner = scrapy.crawler.CrawlerRunner()
scrapy.utils.log.configure_logging(
            {
                "LOG_FORMAT": "%(levelname)s: %(message)s",
            },
        )
crawler = runner.create_crawler(MySpider)
crawler.crawl()

相关问题