建立 Impala 依赖于Hive，hbase和哨兵与否？

bwitn5fc 于 2021-05-27 发布在 Hadoop

关注(0)|答案(1)|浏览(420)

我有一个hadoop集群，有一个主节点和三个从节点。现在，我想在这个集群上添加apacheimpala功能。我从这里下载了tarball。我想建立 Impala ，但不知道什么是先决条件。有两种不同的来源：
这是来自docs的，它说需求是：mysql（或postgresql）、hivemetastore和java依赖（显然）。
这个 README.md 文件在 apache-impala 解开焦油球后创建的目录。引用它：
impala可以使用预先构建的组件构建，可以从s3下载，也可以使用位于thirdparty目录中的就地工具链构建（不推荐）。构建impala所需的组件有apachehadoop、hive、hbase和sentry。
我对这两个来源都感到困惑。我该怎么办？太好了！

hadoop impala Installation

来源：https://stackoverflow.com/questions/55351066/building-impala-depends-upon-hive-hbase-and-sentry-or-not

1条答案

按热度按时间

1sbrub3j1#

如果您仔细阅读impala需求，您将看到hadoop支持是隐含的，而sentry需求则隐藏在页面底部附近的impala安全链接中。
在java依赖项部分，它说：
所有java依赖项都打包在impala-dependencies.jar文件中，该文件位于/usr/lib/impala/lib/。这些Map到在fe/target/dependency下构建的所有内容。
查看相应的pom.xml，您将看到所有依赖项。变灰 artifactId 显示以下内容：

$ grep artifactId fe/pom.xml 
    <artifactId>impala-parent</artifactId>
  <artifactId>impala-frontend</artifactId>
      <artifactId>json-smart</artifactId>
      <artifactId>impala-data-source-api</artifactId>
      <artifactId>hadoop-hdfs</artifactId>
      <artifactId>hadoop-common</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>hadoop-auth</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>hadoop-aws</artifactId>
      <artifactId>hadoop-azure-datalake</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>sentry-core-common</artifactId>
      <artifactId>yarn-extras</artifactId>
      <artifactId>sentry-core-model-db</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>sentry-provider-common</artifactId>
      <artifactId>sentry-provider-db</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>sentry-provider-file</artifactId>
      <artifactId>sentry-provider-cache</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>sentry-policy-common</artifactId>
      <artifactId>sentry-binding-hive</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>sentry-policy-engine</artifactId>
      <artifactId>sentry-service-api</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>parquet-hadoop-bundle</artifactId>
      <artifactId>hbase-client</artifactId>
           <artifactId>json-smart</artifactId>
      <artifactId>hbase-common</artifactId>
           <artifactId>json-smart</artifactId>
      <artifactId>hbase-protocol</artifactId>
      <artifactId>commons-lang</artifactId>
      <artifactId>java-cup</artifactId>
      <artifactId>libthrift</artifactId>
      <artifactId>hive-service</artifactId>
          <artifactId>hive-llap-server</artifactId>
          <artifactId>json-smart</artifactId>
      <artifactId>hive-serde</artifactId>

因此readme.md正确地说明了您需要hadoop、hive、hbase和sentry来构建impala。

赞(0）回复(0）举报 2021-05-27

我来回答

建立 Impala 依赖于Hive，hbase和哨兵与否？

1条答案

相关问题

热门标签

最新问答