图形数据从边输入格式到顶点输入格式的java转换

sauutmhj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(390)

我在用吉拉夫做实验。要在giraph中运行算法,我需要以顶点输入格式显示图形数据。几乎所有可用的在线大数据都是边缘列表格式。我用java编写了一个代码,将这个边缘列表格式转换成vertexinputformat。这适用于具有近800k边的较小图。但是对于我需要的图形,每次运行程序时,它给我的堆空间超过了错误。我尝试将堆大小增加到最大值。错误仍然存在。
我运行的文件大小约为15gb。
我不太了解算法(pagerank,singlesourceshortestpath等等)是如何用giraph编写的,但我知道它们都以vertexinputformat的图形作为输入。
我需要的帮助是:
将edgeinputformat转换为vertexinputformat(或)的优化代码
任何有助于此转换的在线工具(或)
以edgeinputformat作为输入的pagerank算法。

j2datikz

j2datikz1#

对不起,我不明白为什么你只想使用vertexinputformat,giraph还提供edgeinputformat api,为什么你不能使用它?

相关问题