Impala 能在alluxio上面跑吗？

tag5nh1u 于 2021-06-26 发布在 Impala

关注(0)|答案(1)|浏览(458)

我曾尝试将 Impala 配置为在alluxio上运行，但失败了。
以下是 Impala 的配置：
/etc/impala/conf/core-site.xml文件(http://www.alluxio.org/docs/1.6/en/running-hadoop-mapreduce-on-alluxio.html)

<configuration>
<property>
  <name>fs.alluxio.impl</name>
  <value>alluxio.hadoop.FileSystem</value>
  <description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description>
</property>
<property>
  <name>fs.AbstractFileSystem.alluxio.impl</name>
  <value>alluxio.hadoop.AlluxioFileSystem</value>
  <description>The Alluxio AbstractFileSystem (Hadoop 2.x)</description>
</property>
</configuration>

/etc/impala/conf/hive-site.xml文件(http://www.alluxio.org/docs/1.6/en/running-hive-with-alluxio.html)

<property>
   <name>fs.defaultFS</name>
   <value>alluxio://master_hostname:port</value>
</property>

然后我启动了impala（impala服务器，impala目录，impala状态存储），但在日志中我发现：

...impala-server.cc:282] Currently configured default file system: FileSystem. fs.defaultFS (alluxio://192.168.1.10:19998/) is not supported.
...impala-server.cc:285] Aborting Impala Server startup due to improper configuration. Impalad exiting.

我在必应上搜索了很多，但没有找到运气。甚至在搜索关键词“impala on alluxio”上也没有什么结果。那么 Impala 能爬上alluxio吗？如有任何建议，我们将不胜感激。
我的 Impala 版本：2.10.0-cdh5.13.0发行版，alluxio版本：alluxio-1.8.0-hadoop-2.7

impala alluxio

来源：https://stackoverflow.com/questions/52547404/can-impala-run-on-top-of-alluxio

1条答案

按热度按时间

vc6uscn91#

你试过在alluxio上运行带有外部表的hive吗？不要将alluxio设置为defaultfs，而是删除

<property>
   <name>fs.defaultFS</name>
   <value>alluxio://master_hostname:port</value>
</property>

并使用以下方法在alluxio上创建一个表：

hive> CREATE TABLE u_user (
userid INT,
age INT,
gender CHAR(1),
occupation STRING,
zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
LOCATION 'alluxio://master_hostname:port/table_path';

这可能有助于绕过impala的文件系统实现检查。cdh5.13及以下版本中还有一个bug，它阻止 Impala 读取alluxio中的数据。您可能需要升级到cdh5.14，它解决了这个问题。

赞(0）回复(0）举报 2021-06-26

我来回答

Impala 能在alluxio上面跑吗？

1条答案

相关问题

热门标签

最新问答