你其实也没差那么远。
实际上，你需要做的唯一改变是使用scrappy的CrawlerProcess而不是twisted版本，然后处理网站的分页和/或直接迭代页面url列表。前者是更好的选择。
就像这样：

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    name = 'toscrape'
    allowed_domains = ['toscrape.com']
    start_urls = ['http://books.toscrape.com']

    def parse(self, response):
        yield {"url": response.url}
        next_link = response.xpath('//li[@class="next"]/a/@href').get()
        if next_link:
            yield scrapy.Request(response.urljoin(next_link))

process = CrawlerProcess()    
process.crawl(MySpider)
process.start()