如果我有spark集群和cassandra,但没有hadoop集群,我是否可以使用giraph?目前,我正在使用graphx,并希望使用giraph代替。这是可能的考虑到我有Spark簇和使用Cassandra?
hgqdbh6s1#
几年前,我对giraph的使用经验有限,我从未尝试过在hadoop集群之外使用它。但看起来你想要的至少在技术上是可能的,如果不一定很容易的话。这段代码是ApacheGiraph实用图形分析的伴侣。如您所见,它需要在类路径中使用hadoop DoubleWritable 以及 Text ,但它对hadoop集群没有任何作用。相反,它适用于内存中的数组。看起来你需要做的就是实现 compute 在 BasicComputation 类来做任何您需要用cassandra做的事情,只要您保持hadoop作为一个依赖项来帮助满足 BasicComputation .我从来没有觉得giraph非常直观,但希望你可以让这个非传统的设置工作。
DoubleWritable
Text
compute
BasicComputation
1条答案
按热度按时间hgqdbh6s1#
几年前,我对giraph的使用经验有限,我从未尝试过在hadoop集群之外使用它。但看起来你想要的至少在技术上是可能的,如果不一定很容易的话。
这段代码是ApacheGiraph实用图形分析的伴侣。如您所见,它需要在类路径中使用hadoop
DoubleWritable
以及Text
,但它对hadoop集群没有任何作用。相反,它适用于内存中的数组。看起来你需要做的就是实现compute
在BasicComputation
类来做任何您需要用cassandra做的事情,只要您保持hadoop作为一个依赖项来帮助满足BasicComputation
.我从来没有觉得giraph非常直观,但希望你可以让这个非传统的设置工作。