python 使用Scrapy抓取JSON响应

xjreopfe 于 2022-12-25 发布在 Python

关注(0)|答案(3)|浏览(170)

如何使用Scrapy抓取返回JSON的Web请求？例如，JSON如下所示：

{
    "firstName": "John",
    "lastName": "Smith",
    "age": 25,
    "address": {
        "streetAddress": "21 2nd Street",
        "city": "New York",
        "state": "NY",
        "postalCode": "10021"
    },
    "phoneNumber": [
        {
            "type": "home",
            "number": "212 555-1234"
        },
        {
            "type": "fax",
            "number": "646 555-4567"
        }
    ]
}

我希望刮取特定的项目（例如，上面的name和fax）并保存到csv。

python

来源：https://stackoverflow.com/questions/18171835/scraping-a-json-response-with-scrapy

3条答案

按热度按时间

oewdyzsn1#

这与使用Scrapy的HtmlXPathSelector来解析html响应是一样的，唯一的区别是应该使用json模块来解析响应：

class MySpider(BaseSpider):
    ...

    def parse(self, response):
         jsonresponse = json.loads(response.text)

         item = MyItem()
         item["firstName"] = jsonresponse["firstName"]             

         return item

赞(0）回复(0）举报 2022-12-25

egmofgnx2#

不需要使用json模块解析response对象。

class MySpider(BaseSpider):
...

def parse(self, response):
     jsonresponse = response.json()

     item = MyItem()
     item["firstName"] = jsonresponse.get("firstName", "")           

     return item

赞(0）回复(0）举报 2022-12-25

dddzy1tm3#

JSON无法加载的可能原因是它的前后都有单引号。

json.loads(response.body_as_unicode().replace("'", '"'))

赞(0）回复(0）举报 2022-12-25

我来回答

python 使用Scrapy抓取JSON响应

3条答案

相关问题

热门标签

最新问答