scrapy Scraper -如何保存和存储表情符号

hfsqlsce 于 2023-04-21 发布在其他

关注(0)|答案(2)|浏览(152)

我目前正在使用刮刀从https://scrapy.org/下python 3.x和ubuntu环境，不知何故，我想得到用户的意见在论坛，其中包含文本以及表情符号.
想知道我们如何将这些emoji保存到数组中，以便我可以在cvs或json中看到它？
谢谢

2条答案

可能是HTML结构造成的。如果子元素中提供了emoji，则可以在xpath表达式中使用string()函数。

response.xpath('string(.//xpath/to/comment)')

如果你至少能提供页面的HTML，那就太好了。
如果emoji和text包含在父元素中，比如说div和comment类，如下所示。

<div class="comment">
    <div class="description">This is a comment.</div>
    <span>:-)</span>
</div>

然后你可以使用下面的XPath或CSS选择器。

response.css('.comment ::text').extract()

或

response.xpath('.//div[@class="comment"]//text()').extract()