如何从Azure ML服务数据集访问文件或文件夹?

ql3eal8s  于 2023-03-31  发布在  其他
关注(0)|答案(1)|浏览(74)

目前我正在使用Azure ml服务,其中我在Azure ml中有一个名为'voice_recognition_expreimnt'的数据集。我通过以下代码访问此数据集:

file_dataset =  Dataset.get_by_name(workspace=ws, name='voice_recognition_expreimnt')

现在我想访问数据集中的所有文件或文件夹。那么我如何遍历数据集中的所有路径。我搜索了很多,但我找不到任何解决方案。所以请帮助我

2hh7jdfx

2hh7jdfx1#

答案取决于您是否计划直接在计算示例笔记本中执行工作,或者通过ScriptRunEstimator提交运行。

直接访问

您可以使用.download()将文件放在当前正在使用的机器上。

file_dataset.download()

训练消耗

下面是Azure ML SDK中的一个常见模式,用于使数据集可用于RunsEstimators,PythonScriptSteps`等。所有这些类都可以在许多计算目标上的数据集上运行代码。

src = ScriptRunConfig(
    source_directory=source_directory, 
    script='dummy_train.py',
    arguments=[file_dataset.as_named_input('input').as_mount(),
               output
        ]
)

exp = Experiment(ws, 'ScriptRun_sample')
run = exp.submit(config=src)

这里有一些教程,更详细。
1.在Estimator中创建和使用FileDataset

  1. How to use ScriptRun with data input and output笔记本(整个"datasets tutorial" folder就是一个很好的例子。

相关问题