如何使用Azure ML创建的标签在面向语言的认知服务中训练自定义模型?

qcbq4gxm  于 2022-12-30  发布在  其他
关注(0)|答案(1)|浏览(117)

对于一个项目,我想使用来自Azure机器学习的标注环境来标注命名实体和分类。我想使用这些标注来训练一个使用Azure语言认知服务的自定义NER和自定义文本分类模型。我想使用Azure ML中的标注环境的原因,而不是Azure Cognitive Services for Language的标注工具本身,是因为特别是文本分类标注在Azure ML中方便得多。
根据我在documentation中看到的内容,Azure ML将这些标签导出到"Azure机器学习数据集(v1)带有标签",CSV文件(对于文本分类标注)或CoNLL文件(在NER标签的情况下)。然而,要在Azure Cognitive Services for Language I中训练自定义NER或文本分类模型,只能将带标签的数据作为json文件导入this format for text classificationthis format for NER。是否有办法将标签从Azure机器学习导出为json文件?如果没有,是否有人知道如何将Azure机器学习数据集转换为json文件?
谢谢大家!

46qrfjad

46qrfjad1#

使用执行Python脚本或执行R脚本模块,我们可以从JSON导入数据。将在中使用执行R脚本模块。将使用执行R脚本模块。在Azure ML Studio中,此模块用于运行R脚本代码。执行R脚本模块有三个输入参数。它们是Script Bundle、Dataset1、和Dataset2。您可以在Dataset1和Dataset2输入的帮助下将数据导入Execute R Script模块。包含许多文件类型的zip文件可以与Script Bundle端口一起使用。要加载JSON,我们将利用此Script Bundle端口。

我们将演练如何将压缩的JSON文件导入Azure ML。请考虑我们希望将JSON数据文件用作Azure ML数据集的场景。从JSONPlaceholder下载示例JSON数据后,必须压缩此JSON文件。

选择Azure ML Studio中的“数据集”选项卡,然后单击底部的(+)新建。

从本地文件选择选择为新数据集选择类型作为压缩文件选项和压缩JSON文件的路径。

您将收到“www.example.com“的数据集上载SampeJSONData.zip已完成的消息,并且SampleJSONData文件将显示在”我的数据集“页面上。

选择“实验”选项卡,然后点击(+)“新建”。

选择任意“空白实验”选项,然后创建新实验。找到SampleJSONData.zip,然后将其拖到设计面板。

拖放执行R脚本模块,将执行R脚本模块脚本包端口连接到SampeJSONData.zip输出。

将此查询粘贴到Rscript框中。

library(jsonlite)
myjsondata <-   fromJSON("src/posts.txt")
maml.mapOutputPort ("myjsondata");

运行实验,然后右键单击Execute R Script模块的Result Dataset端口并选择Visualize

我们从zip文件中提取了JSON数据,并将其转换为可用于Azure ML实验的格式。现在任何网站都可以向我们提供JSON数据。
实际上,前面的演示和这个选项非常相似。只有JSON数据文件的源文件被这个选项改变了。以前,我们有一个zip文件,但在这个例子中,我们将使用网站上的JSON数据。修改R脚本模块代码:

library(jsonlite)
myjsondata  <-  fromJSON("https://jsonplaceholder.typicode.com/posts ")
maml.mapOutputPort("myjsondata");

当你可视化R脚本模块的结果数据集时,你可以看到它正在获取JSON占位符发布JSON数据。在下图中,我们可以看到JSON表单和可视化表单的比较。

相关问题