我希望通过hdfs的服务器地址连接到cloudera虚拟机上的hadoop示例。有人知道怎么找到这个的ip地址吗？如果没有，我如何在本地连接到虚拟机中的hdfs，因为它们都在同一台计算机上运行。需要这样做的pentaho水壶连接。
rt4zxlrg1#
如果您试图配置pentaho数据集成（cattle）以使用hdfs作为输入数据源，那么首先需要获取hdfs namenode服务的主机名/ip地址和端口号，然后将其输入（pentaho）spoon（cattle的gui）。获取hdfs namenode ip/端口号hadoop hdfs namenode服务的默认端口在cdh4和cdh5中都是8020（源代码）。如果出于某种原因您没有使用默认值，那么hdfs namenode服务的主机名/端口可以在cloudera manager中找到（例如，如果您使用cloudera quickstart vm，应该安装该服务）：单击cloudera主管理器页面上的hdfs服务单击配置-查看和编辑单击namenode-端口和地址。“namenode port”是您想要的端口，即不是“namenode web ui port”。因为pdi需要namenode端口。在pdi中浏览hdfs文件以确认以打开pentaho数据集成（spoon）并创建“hadoop拷贝文件”转换步骤为例进行测试，然后在“浏览文件”区域输入hdfs详细信息并检查是否显示目录列表。
1条答案
按热度按时间rt4zxlrg1#
如果您试图配置pentaho数据集成（cattle）以使用hdfs作为输入数据源，那么首先需要获取hdfs namenode服务的主机名/ip地址和端口号，然后将其输入（pentaho）spoon（cattle的gui）。
获取hdfs namenode ip/端口号
hadoop hdfs namenode服务的默认端口在cdh4和cdh5中都是8020（源代码）。
如果出于某种原因您没有使用默认值，那么hdfs namenode服务的主机名/端口可以在cloudera manager中找到（例如，如果您使用cloudera quickstart vm，应该安装该服务）：
单击cloudera主管理器页面上的hdfs服务
单击配置-查看和编辑
单击namenode-端口和地址。
“namenode port”是您想要的端口，即不是“namenode web ui port”。因为pdi需要namenode端口。
在pdi中浏览hdfs文件以确认
以打开pentaho数据集成（spoon）并创建“hadoop拷贝文件”转换步骤为例进行测试，然后在“浏览文件”区域输入hdfs详细信息并检查是否显示目录列表。