如何使用graphloader将数据从hadoop加载到datastax graph(如何使用graphloader直接从hadoop读取文件

fykwrbwg  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(341)

是否必须将文件从hadoop复制到本地目录:
hadoop fs-get[hadoop src][local dst]
为了使用:
https://docs.datastax.com/en/datastax_enterprise/5.0/datastax_enterprise/graph/dgl/dglcsv.html

yqyhoc1h

yqyhoc1h1#

不,您不必将数据复制到本地系统。您可以直接在hdfs上引用一个文件并从那里读取它。

def source = File.csv(dfs_uri + "person.csv.gz").gzip().delimiter("|")
    load(source).asVertices {
        label vertexLabel
        key "id"
    }

这是从hdfs读取压缩csv文件的Map脚本示例dfs\u uri'是一个命令行参数,用于指定存储文件的hdfs目录的uri。

相关问题