如何用datastax spark最好地管理我的所有节点cpu、内存和存储?

yfwxisqw  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(350)

我现在有一个由4个spark节点和1个solr节点组成的集群,并使用cassandra作为我的数据库。我想在中期增加节点到20个,长期增加到100个。但税收似乎并不支持mesos或yarn。如何最好地管理所有这些节点cpu、内存和存储?mesos是否需要20或100个节点?到目前为止,我还没有找到任何使用datasax的例子。我通常没有需要完成的作业,但我正在运行一个连续的数据流。这就是为什么我甚至考虑删除datasax,因为我认为如果没有yarn或mesos,我无法有效地管理这么多节点,但也许有一个更好的解决方案我还没有想到?我也在使用python,所以Yarn显然是我唯一的选择。
如果你有任何建议或最佳实践的例子让我知道。
谢谢!

vsikbqxv

vsikbqxv1#

如果你想用支持的hadoop/yarn环境运行dse,你需要使用byoh,请阅读byoh中的相关内容。你可以在dse中运行内部hadoop平台,也可以用yarn和其他可用的东西运行cloudera或hdp平台。

相关问题