# WebHDFS url
hdfsUri <- "http://namenodedns:port/webhdfs/v1"
# Uri of the file you want to read
fileUri <- "/user/username/myfile.csv"
# Optional parameter, with the format &name1=value1&name2=value2
optionnalParameters <- ""
# OPEN => read a file
readParameter <- "?op=OPEN"
# Concatenate all the parameters into one uri
uri <- paste0(hdfsUri, fileUri, readParameter, optionnalParameters)
# Read your file with the function you want as long as it supports reading from a connection
data <- read.csv(uri)
1条答案
按热度按时间30byixjq1#
它是一个安全的集群吗?如果不是的话,rwebhdfs包解决了这个问题。使用它,您可以使用以下代码连接到远程群集:
这些包依赖于rcurl,当与安全集群一起使用时,它有一些限制(windows上的libcurl v1.0.0o)。要使用安全集群进行访问,我将使用
httr
使用webhdfsrestapi直接打包和查询集群直接从链接获取的代码
没有理由获取rstudio服务器。我希望这能给你指明正确的方向。