考虑到我的spark流应用程序与flume的连接。我正在研究一个有x个节点的集群。文件上说:
“当您的flume+spark流应用程序启动时,必须有一个spark Worker在该机器上运行。
flume可以配置为将数据推送到该机器上的端口。”
我知道我的spark流作业必须从一个可能的worker启动(所有节点都是worker,但我不使用所有的worker),而且我还配置了flume将数据推送到主机名/端口,该主机名/端口也是流作业的可能worker。我仍然得到一个连接拒绝这个主机名/端口,虽然没有防火墙,它没有被其他任何东西等。我肯定我理解错了。有人知道吗?
ps1:我使用的是spark1.2.0ps2:我的代码在本地进行了测试,并按预期运行ps3:可能我理解错了,因为我对hadoop/spark还很陌生。
提前谢谢!
暂无答案!
目前还没有任何答案,快来回答吧!