看看Scraby的CrawlSpider蜘蛛类
CrawlSpider是爬行常规网站最常用的蜘蛛，因为它通过定义一组规则提供了一种方便的跟踪链接的机制。
为了实现你的目标，你只需要制定非常基本的规则：

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        # Extract and follow all links!
        Rule(LinkExtractor(callback='parse_item'), follow=True),
    )

    def parse_item(self, response):
        self.log('crawling'.format(response.url))

上面的爬虫将抓取网站上与allowed_domains匹配的每个url，并回调到parse_item。
值得注意的是，默认情况下LinkeExtractor忽略媒体页面（如pdf，mp4等）
为了扩展深度主题，Scraby确实有深度限制设置，但默认设置为0（又名无限深度）
https://doc.scrapy.org/en/0.9/topics/settings.html#depth-limit

# settings.py
DEPTH_LIMIT = 0

同样，scrapy默认情况下会先抓取深度，但如果你想更快地覆盖广度，首先可能会改善这一点：https://doc.scrapy.org/en/0.9/topics/settings.html#depth-limit

# settings.py
SCHEDULER_ORDER = 'BFO'