graphx-存储和计算超过30亿个顶点的最佳方式

jvidinwx  于 2021-06-09  发布在  Hbase
关注(0)|答案(1)|浏览(341)

我对spark和graphx是新手。到目前为止,我一直在使用titan db(hbase存储)和giraph进行处理。我需要一个有30亿个顶点和50亿条边的图。存储图形的最佳方式是什么(通过添加顶点和边从头开始创建图形,我还想离开titan api来创建图形)。我找不到任何关于这个的直接文件。你能告诉我用graphx和商品硬件创建/存储图形和进程的最佳方法是什么吗?
谢谢。

nfzehxib

nfzehxib1#

只要您可以将hbase表读入rdd(您可以读入rdd),就不会有问题。查看hbasetest示例(它位于spark分布中)可能会对您有进一步的帮助。

相关问题