我正在使用flink从azure数据湖读取数据。但是flink无法找到azure数据湖文件系统。如何配置flink来理解azure数据湖文件系统。有人能指导我吗？
70gysomp1#
flink能够连接到任何与hadoop兼容的文件系统（即实现org.apache.hadoop.fs.filesystem的文件系统）。有关说明，请参见此处：https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html在core-site.xml中，您应该添加特定于adls的配置。在flink代理运行的类路径中，还需要adl jar。这基本上是相同的概念，概述了在这个博客，除了改编为Flink。https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4
1条答案
按热度按时间70gysomp1#
flink能够连接到任何与hadoop兼容的文件系统（即实现org.apache.hadoop.fs.filesystem的文件系统）。有关说明，请参见此处：https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html
在core-site.xml中，您应该添加特定于adls的配置。在flink代理运行的类路径中，还需要adl jar。
这基本上是相同的概念，概述了在这个博客，除了改编为Flink。https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4