我正在遵循这个关于hadoop/fiware cosmos的指南,我有一个关于hive部分的问题。
我可以访问旧群集的( cosmos.lab.fiware.org
)headnode,但我不能为新集群这么做。我两个都试过了 storage.cosmos.lab.fiware.org
以及 computing.cosmos.lab.fiware.org
无法连接。
我尝试通过ssh连接的目的是通过hivecli测试数据上的配置单元查询。在没有做到这一点后,我检查,并能够连接到10000个港口 computing.cosmos.lab.fiware.org
使用telnet。我想Hive是通过那个港口供应的。这是我们在新集群中使用配置单元的唯一方法吗?
1条答案
按热度按时间lp0sw83n1#
新的一对集群尚未启用ssh访问。这是因为用户倾向于在“旧”集群中安装很多东西(甚至与大数据无关),正如您所提到的,该集群启用了ssh访问。因此,这对新集群只打算通过公开的api使用:webhdfs用于数据i/o,tidoop用于mapreduce。
也就是说,一个配置单元服务器也在运行,它应该在10000端口中公开一个远程服务。我之所以说“应该是”,是因为它正在运行一个基于oauth2的实验性验证器模块,就像webhdfs和tidoop一样。从理论上讲,从配置单元客户端连接到该端口就像使用cosmos用户名和有效令牌一样简单(与webhdfs和/或tidoop使用的相同)。
那么hive远程客户端呢?这是应用程序应该实现的。总之,我在cosmos repo中上传了一些实现示例。例如:
https://github.com/telefonicaid/fiware-cosmos/tree/develop/resources/java/hiveserver2-client