为什么使用Scrapy时出现“ReactorNotRestartable”错误?

hgtggwj0  于 2023-01-05  发布在  React
关注(0)|答案(1)|浏览(215)

我在Google Colab中使用Scrapy,但总是得到ReactorNotRestartable错误:
img
首先我使用pip安装了Scrapy,然后我使用了以下代码:

import scrapy
from scrapy.crawler import CrawlerProcess

class TestSpider(scrapy.Spider):
  name="test"
 

  def start_requests(self):
    yield scrapy.Request("A valid URL")

  def parse(self, response):
    products=response.css("div.product-card")
    for item in products:
      yield {
          
          "price":products.css("div.price-range::text").get(),
      }

process=CrawlerProcess(settings={
      
    "FEED_URI" : "test.csv",
    "FEED_FORMAT" : "csv"
})

process.crawl(TestSpider)
process.start()

我正在遵循一个关于"如何在Python脚本中使用Scrapy"的教程,但我的代码不起作用。
为什么使用Scrapy时出现"ReactorNotRestartable"错误?

ih99xse1

ih99xse11#

您遇到这个问题是因为您使用colab/jupyter笔记本电脑,因为您无法重启扭曲React器。您可以通过以下任一方法解决这个问题:

  • 重新启动你的笔记本电脑。2你必须在每次运行蜘蛛的时候重新启动。
  • 或者使用python(而不是jupyter)在本地运行你的spider。
  • 或者你可以用钩针编织。检查这个答案来了解如何设置它。

相关问题