我一直在使用stackoverflow(https://stackoverflow.com/a/43661172/5037146)上描述的方法,使用Crawler Runner从脚本运行scrappy,以允许重新启动进程。
但是,当通过CrawlerRunner运行流程时,我没有得到任何控制台日志,而当我使用CrawlerProcess时,它输出状态和进度。
代码可在线获得:https://colab.research.google.com/drive/14hKTjvWWrP--h_yRqUrtxy6aa4jG18nJ
2条答案
按热度按时间wz8daaqr1#
使用
CrawlerRunner
时,您需要手动设置日志记录,这可以使用configure_logging()
来完成。https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-scriptpieyvz9o2#
使用
CrawlerRunner
时,您必须手动配置记录器。您可以使用scrapy.utils.log.configure_logging
函数完成此操作例如