我是新的scrapy和试图刮一个页面有几个链接。我想遵循和刮的内容从该页以及从该页有另一个链接,我想刮。
我在shell上试过这个路径,它工作了,但是,我不知道我在这里错过了什么。我希望能够通过下面的链接爬过两个页面。我试着阅读教程,但是我真的不明白我在这里错过了什么。
这是我的items.py文件。
import scrapy
# item class included here
class ScriptsItem(scrapy.Item):
# define the fields for your item here like:
link = scrapy.Field()
attr = scrapy.Field()
这是我的scripts.py文件。
import scrapy
import ScriptsItem
class ScriptsSpider(scrapy.Spider):
name = 'scripts'
allowed_domains = ['https://www.imsdb.com/TV/Futurama.html']
start_urls = ['http://https://www.imsdb.com/TV/Futurama.html/']
BASE_URL = 'https://www.imsdb.com/TV/Futurama.html'
def parse(self, response):
links = response.xpath('//table//td//p//a//@href').extract()
for link in links:
absolute_url = self.BASE_URL + link
yield scrapy.Request(absolute_url, callback=self.parse_attr)
def parse_attr(self, response):
item = ScriptsItem()
item["link"] = response.url
item["attr"] = "".join(response.xpath("//table[@class = 'script-details']//tr[2]//td[2]//a//text()").extract())
return item
1条答案
按热度按时间odopli941#
替换
至
your_project_name -项目的名称