我在Google Colab
中使用Scrapy
,但总是得到ReactorNotRestartable
错误:
img
首先我使用pip安装了Scrapy,然后我使用了以下代码:
import scrapy
from scrapy.crawler import CrawlerProcess
class TestSpider(scrapy.Spider):
name="test"
def start_requests(self):
yield scrapy.Request("A valid URL")
def parse(self, response):
products=response.css("div.product-card")
for item in products:
yield {
"price":products.css("div.price-range::text").get(),
}
process=CrawlerProcess(settings={
"FEED_URI" : "test.csv",
"FEED_FORMAT" : "csv"
})
process.crawl(TestSpider)
process.start()
我正在遵循一个关于"如何在Python脚本中使用Scrapy"的教程,但我的代码不起作用。
为什么使用Scrapy时出现"ReactorNotRestartable"错误?
1条答案
按热度按时间ih99xse11#
您遇到这个问题是因为您使用colab/jupyter笔记本电脑,因为您无法重启扭曲React器。您可以通过以下任一方法解决这个问题: