因此，我在cloudflare-scrape的帮助下使用Python执行JavaScript。
在你的scraper中，你需要添加下面的代码：

def start_requests(self):
  for url in self.start_urls:
    token, agent = cfscrape.get_tokens(url, 'Your prefarable user agent, _optional_')
    yield Request(url=url, cookies=token, headers={'User-Agent': agent})

还有解析函数。就是这样！
当然，你需要先安装cloudflare-scrap，然后导入到你的spider中。你还需要安装一个JS执行引擎。我已经有了Node.JS，没有抱怨。

显然，最好的办法是将您的IP列入CloudFlare的白名单;如果这不合适，我推荐cloudflare-scrape库。你可以用它来获取cookie标记，然后在你的Scrapy request中提供这个cookie标记给服务器。

如果您收到503错误，您可以遵循以下准则：
1.转到settings.py
1.搜寻：USER_AGENT个
1.在这里你会看到默认的bot用户代理由scrappy提供。用以下代码替换默认设置：

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'