您需要从基本URL http://www.example.com/index.php开始，方法是在启动请求方法中调用它，并编写其回调函数，从其他端点提取信息，然后将结果带入其他回调函数，然后您可以启动scraping进程。
您需要按以下方式实现

class CrawlSpider(scrapy.CrawlSpider):

   def parse_authentication_token(self, response):
      //extract token or whatever require and then call supers parse
      yield from super().parse()

   def start_requests(self):
       return Request(url, callback=self.parse_authentication_token)