当你使用NEXT_PAGE_SELECTOR时，很难调试所发生的事情。有另一种更简单的方法来浏览你需要的所有页面。你可以使用CrawlSpider的“parse”方法。在“parse”方法中，你可以从页面中获取数据，然后获取下一页的URL，用回调等于self.parse来生成一个yield。它将打开下一页的URL，并再次运行“parse”方法，得到下一页的URL响应。

from scrapy.spiders import CrawlSpider

class SomeSpider(CrawlSpider):
    name = 'SAME NAME'
    allowed_domains = ['ALLOWED DOMAINS HERE']
    start_urls = ['START_URL'

    def parse(self, response):
        # First you get all data from current page.
        urls = response.css('div.title a::attr(href)').extract()

        for url in urls:
            yield response.follow(url, callback=self.parse_data_page)

        # Second you get next page URL and yield it with callback.
        next_page = response.css('span.page-link a::attr(href)').extract_first()
        yield response.follow(next_page, callback=self.parse)

    def parse_data_page(self, response):
        # Pars