springxd动态部署清单

vm0i2vca  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(409)

我一直在大量阅读springxd文档,并没有真正掌握我想要实现的两件与hadoop相关的事情。
也许他们还没有被支持或者永远不会被支持-可能是因为我错过了一些东西,这使得我的场景毫无意义。。。
在hadoop中,applicationmaster可以请求在特定主机上分配容器,即“机架感知”。这允许在hdfs上的数据存储位置附近执行处理。
这种功能是否可以在流部署清单中作为已评估属性公开?
注意,我不是在谈论分区流,在分区流中,相同的容器为流中的所有模块处理相同的消息。
我希望在一组容器上部署流中间的许多模块示例—这些容器还可以通过保存我预先存在的大型静态数据段来实现。我希望根据评估的规则为每个调用选择最合适的模块示例,该规则涉及将正在处理的每个消息Map到存储在其中一个容器上的关联的预先存在的大型文件。
一旦部署了流,是否可以在多个容器中动态地“扩展”一个模块的部署。例如,如果流中的一个模块被证明是一个瓶颈,那么一旦部署了流,该模块的示例数量是否可以跨多个容器动态增加?
谢谢尼克

7xllpg7q

7xllpg7q1#

一旦部署了流,是否可以在多个容器中动态地“扩展”一个模块的部署。例如,如果流中的一个模块被证明是一个瓶颈,那么一旦部署了流,该模块的示例数量是否可以跨多个容器动态增加?
模块的直接绑定在您的情况下会有所帮助。直接绑定允许流的模块在同一个容器上共存,并为加入集群的每个容器提供这些共存模块的动态部署。你可以在这里找到更多的信息

相关问题