我试图捕获原始请求负载和请求头,以便在数据库中进行跟踪。我知道response.request.headers,但那是返回的请求头。有没有可能创建一个中间件来捕获request.header和payload(body),并将其作为 meta标记或类似的东西发送给spider?
response.request.headers
kyvafyod1#
我找到了一种方法来做到这一点(当然没有中间件):
req
req.headers.to_unicode_dict()
self.req_headers
req.body
self.req_body
yield req
1条答案
按热度按时间kyvafyod1#
我找到了一种方法来做到这一点(当然没有中间件):
req
req.headers.to_unicode_dict()
存储到self.req_headers
中req.body
存储到self.req_body
中yield req
以发送请求