我使用了Freddy的设置，并进行了小修改，并根据@Agus-Mathew的建议减少了“CONCURRENT_REQUESTS_PER_IP”。
所以，〉我的〈最终设置是：

DOWNLOAD_DELAY = 10
CONCURRENT_REQUESTS = 1
...

# PROXYMESH_TIMEOUT = 60

# CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)

# COOKIES_ENABLED = False

...
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 5
AUTOTHROTTLE_MAX_DELAY = 60
AUTOTHROTTLE_TARGET_CONCURRENCY = 4.0

# AUTOTHROTTLE_DEBUG = False

我配置了我的Scrapy头如下，因为我只收到了我的Scrapy脚本块-而不是我的网页浏览器（如Freddy）.旋转代理我没有使用的工作.

DEFAULT_REQUEST_HEADERS = {
   'accept-encoding': 'gzip, deflate, br',
   'accept-language': 'en-US,en;q=0.9',
   'sec-ch-ua': '"Chromium";v="106", "Microsoft Edge";v="106", ";Not A Brand";v="99"',
   'sec-ch-ua-mobile': '?0',
   'sec-ch-ua-platform': '"Windows"',
}

当然，这取决于我们要抓取的网站，如果他们的API设置对请求过于敏感，那么我们必须做出相应的调整。
顺便说一句：我经常读到关于在蜘蛛中使用“time.seep（）”（或者个人不使用，因为Twisted Reactor和Scrapy并发）。但是在我的例子中，time.sleep对避免错误没有任何作用。所以它对我没有帮助。