giraph,hadoop,spark和cassandra

3bygqnnd  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(360)

如果我有spark集群和cassandra,但没有hadoop集群,我是否可以使用giraph?
目前,我正在使用graphx,并希望使用giraph代替。这是可能的考虑到我有Spark簇和使用Cassandra?

hgqdbh6s

hgqdbh6s1#

几年前,我对giraph的使用经验有限,我从未尝试过在hadoop集群之外使用它。但看起来你想要的至少在技术上是可能的,如果不一定很容易的话。
这段代码是ApacheGiraph实用图形分析的伴侣。如您所见,它需要在类路径中使用hadoop DoubleWritable 以及 Text ,但它对hadoop集群没有任何作用。相反,它适用于内存中的数组。看起来你需要做的就是实现 computeBasicComputation 类来做任何您需要用cassandra做的事情,只要您保持hadoop作为一个依赖项来帮助满足 BasicComputation .
我从来没有觉得giraph非常直观,但希望你可以让这个非传统的设置工作。

相关问题