从clickhouse访问hdfs ha群集失败,错误为hdfsconfignotfound

s8vozzvw  于 2021-05-31  发布在  Hadoop
关注(0)|答案(1)|浏览(832)

我在clickhouse上创建了一个基于hdfs的表。我的hdfs群集已打开ha,但在查询我创建的myddl表时出错:

CREATE TABLE IF NOT EXISTS userItemLable ON CLUSTER cluster_1st( 
label int,
length int,
duration int
)ENGINE=HDFS('hdfs://cluster1/test/','')

错误代码:

Code: 210. DB::Exception: Received from localhost:9000. DB::Exception: Unable to connect to HDFS: InvalidParameter: Cannot parse URI: hdfs://cluster1, missing port or invalid HA configuration Caused by: HdfsConfigNotFound: Config key: dfs.ha.namenodes.cluster1 not found.

我曾尝试将hdfs-site.xml复制到/etc/clickhouse服务器文件路径,但问题尚未解决。
然后我将这个文件重命名为hdfs-client.xml,结果是一样的。
最后,在config.xml中,我没有找到如何配置hdfs ha。

h7appiyu

h7appiyu1#

您可以将端口8020与hdfs ip和path一起使用。它对我有用。示例:create table elm.hdfs\u table(名称字符串,值uint32)engine=hdfs('hdfs://168.11.12.103:8020/user/nirakar/clickhouse/hdfs_table,'tsv');
在elm.hdfs\表中插入值('one',1),('two',2),('three',4);
注意:确保您的本地服务器/etc/主机应该具有hdfs服务器的ip地址。

相关问题