scrapy 如何处理用不同的方式写同一件事

yws3nbqq  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(120)

我想知道Django是否有任何模块来处理这个问题。我有多种方法在Postgresql数据库中写入相同的城市名称,这些方法来自不同的网站。字段“城市名称”可以是“圣地亚哥”或“圣地亚哥”。我的问题是,我是否可以有一个模块,可以始终规范化为“圣地亚哥”在这两种情况下,我可以添加一些规范化,当一些新词出现,如“圣地亚哥”,并保持这个工作流。
谢谢

tktrz96b

tktrz96b1#

你可以使用API来规范化你抓取的数据。Yandex或Google都有根据你的搜索查询返回可能的位置名称列表的功能。获取他们返回的最可能的答案,并使用它来Map你的输入到正确的答案。有手动Map功能,但我强烈推荐在我们之前解决这个问题的巨人之一。

相关问题