我已经在本地系统上安装了apachehive,我需要连接到azuredatalake以从中查询数据。如何配置?
8wtpewkr1#
有关如何将hadoop连接到azure data lake的详细信息,请访问-https://hadoop.apache.org/docs/current/hadoop-azure-datalake/index.html.您需要运行一个最新版本的hadoop,以使模块在本机上可用。有一些博客讨论启用这种连接,例如-https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4.但是,除非您在azure数据湖存储(adls)帐户所在的azure区域中运行hadoop,否则您的解决方案将是非最佳的。由于您将在读取期间将数据从azure区域中导出,因此您将在数据读取/写入过程中产生延迟以及成本。相信你已经把这些因素考虑到你的计划中了。谢谢,sachin sheth,azure数据湖项目经理。
1条答案
按热度按时间8wtpewkr1#
有关如何将hadoop连接到azure data lake的详细信息,请访问-https://hadoop.apache.org/docs/current/hadoop-azure-datalake/index.html.
您需要运行一个最新版本的hadoop,以使模块在本机上可用。
有一些博客讨论启用这种连接,例如-https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4.
但是,除非您在azure数据湖存储(adls)帐户所在的azure区域中运行hadoop,否则您的解决方案将是非最佳的。由于您将在读取期间将数据从azure区域中导出,因此您将在数据读取/写入过程中产生延迟以及成本。相信你已经把这些因素考虑到你的计划中了。
谢谢,sachin sheth,azure数据湖项目经理。