所描述的场景可以通过共享元存储来实现。因为您已经有了一个外部元存储，所以也可以将它用于其他集群。前提条件是访问此元存储的集群的配置单元元存储版本相同。
您还可以更改群集创建模板中的核心站点设置，使其具有相同的文件系统结构（如果您不使用完全限定的存储帐户名）：

"core-site": {
    "fs.defaultFS": "adl://home",
    "dfs.adls.home.hostname": "<your-datalake-store>.azuredatalakestore.net",
    "dfs.adls.home.mountpoint": "/<your-adl-home-mountpoint-dir>",...
     },

在spark中，这将通过以下方式完成：

spark.conf.set("dfs.adls.home.hostname", "<your-datalake-store>.azuredatalakestore.net")
spark.conf.set("dfs.adls.home.mountpoint", "/<your-adl-home-mountpoint-dir>")

另请参阅以下博客文章。
另外，请检查以下关于如何从pyspark（也可以从“外部”）访问hdinsight的答案。