我正在用Scrapy抓取一个随机的网页。我创建了这个项目,但是当我试图运行我的蜘蛛时,它不能导入Scrapy。
这是我的蜘蛛
import scrapy
import logging
# Spider for truecar.com
class TruecarSpider(scrapy.Spider):
name = "truecar"
def start_requests(self):
urls = ['https://www.truecar.com/used-cars-for-sale/listings/tesla/model-3/']
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
all_listings = response.xpath('//div[@data-test="allVehicleListings"] > ul')
for tesla in all_listings:
aux = tesla.xpath('//div[@class="linkable card card-shadow vehicle-card"]')
make_model = aux.xpath('@aria-label')#aux.css('::attr(aria-label)')
year = make_model.xpath('@aria-label').get()
model_raw = make_model.css('span.vehicle-header-make-model').get()
model = model_raw[model_raw.find('>')+1:-7]. replace ('<! ----3"')
tesla_data = {
'url': 'http://truecar.com' + tesla.css('a::attr (href)').get(),
'model': year + ' ' + model,
'mileage': tesla.css('div[data-test="cardContent"] > div > div. text-truncate: :text').get(),
'price': tesla.css('h4: :text').get(),
}
yield tesla_data
我通过pip install scrappy安装了它,所以我尝试通过VS代码上的终端检查它是否存在。
这是我得到的
我有python 3.10.1和scrapy 2.7.1
1条答案
按热度按时间avwztpqn1#
感谢@MatBailie的评论,它帮助我看到了我在IDE上的Python版本是错误的。我使用的是VS代码,如果你们有同样的问题,可以在这里检查,在终端下面的蓝条上。如果它没有出现,请确保你有Python扩展,并且它是重新加载的: