我刚刚使用cloudera manager 5(cm5)安装了一个hdfs集群,默认设置为三个节点(n1.example.com、n2.example.com和n3.example.com)。节点的虚拟化是并行完成的(macosx10.10.1yosemite)。我能够在任何节点中看到使用“sudo-hhdfs”的hdfs系统。
现在,我正在尝试使用缺省id/密码/端口hdfs/(blank)/8020从主机操作系统(macosx)上的etl工具访问hdfs系统。但我被拒绝了。我附上了etl的截图。
因此,我已经在n2节点上安装了etl工具(pentaho-kettle),并尝试从服务器使用localhost进行连接,但仍然无法使用“connection-densed”错误。当我使用诸如“sudo-uhdfs hadoop fs”-ls/”这样的命令时,它工作得很好。
我遗漏了什么吗?
仅供参考,我已经禁用了这三个节点中的防火墙,因为它们实际上是作为测试在我的虚拟机环境中运行的。
谢谢您!
1条答案
按热度按时间2ic8powd1#
结果是etl配置问题。开源的pentaho数据集成工具kettle附带apachehadoop2.0作为默认插件,需要替换它才能使用我的cdh发行版。
也就是说,我需要修改文件data integration/plugins/pentaho big data plugin/plugin.properties,使行替换现有行:
active.hadoop.configuration=cdh51
以下是pentaho网站的详细信息:http://wiki.pentaho.com/display/bad/configuring+pentaho+for+your+hadoop+distro+and+version.