我正在使用apache flink进行流式处理。我正在通过flink将来自apache kafka的数据作为流，并将结果流保存到azure data lake中。flink中是否有可用的连接器将流数据转储到azure data lake中？
wbgh16ku1#
flink支持所有实现 org.apache.hadoop.fs.FileSystem 如本文所述：https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html.因此，您应该能够将其设置为将数据输出到azure数据湖存储。下面是一个博客，展示了如何将hadoop连接到azuredatalake存储。理论上同样的方法也应该适用于Flink。https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4
org.apache.hadoop.fs.FileSystem
1条答案
按热度按时间wbgh16ku1#
flink支持所有实现
org.apache.hadoop.fs.FileSystem如本文所述：https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html.因此，您应该能够将其设置为将数据输出到azure数据湖存储。下面是一个博客，展示了如何将hadoop连接到azuredatalake存储。理论上同样的方法也应该适用于Flink。https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4