我试图捕获原始请求负载和请求头，以便在数据库中进行跟踪。我知道response.request.headers，但那是返回的请求头。有没有可能创建一个中间件来捕获request.header和payload（body），并将其作为 meta标记或类似的东西发送给spider？
response.request.headers
kyvafyod1#
我找到了一种方法来做到这一点（当然没有中间件）：
req
req.headers.to_unicode_dict()
self.req_headers
req.body
self.req_body
yield req
1条答案
按热度按时间kyvafyod1#
我找到了一种方法来做到这一点（当然没有中间件）：
reqreq.headers.to_unicode_dict()存储到self.req_headers中req.body存储到self.req_body中yield req以发送请求