rmr2mapreduce总是为$key和$val生成null

zazmityj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(303)

根据jeremy和chandra的说法,我用cloudera quickstart 5.7.0在r中安装了rmr2。我尝试了一个简单的mapreduce程序,如[chandra]:

small.ints <- to.dfs(1:1000)
out <- mapreduce(input = small.ints, map = function(k, v) keyval(v, v^2))
df <- as.data.frame(from.dfs(out))

df的输出为:

data frame with 0 columns and 0 rows

和from.dfs(out)显示:

$key
NULL

$val
NULL

来自[jeremy]和[chandra]的其他示例也产生了相同的输出,尽管mapreduce在生成的/tmp目录中显示了成功。有什么建议吗?
to.dfs和from.dfs似乎工作正常。我试过:

small.ints <- to.dfs(1:1000)
out <- from.dfs(small.ints)
out

这就产生了从1到1000的数字。

jjjwad0x

jjjwad0x1#

我现在明白了。我从rstudio内部安装了rmr2,但不知何故,尽管mapreduce函数似乎成功运行,但该库对脚本不可用。我很惊讶,在其中一个日志中,我读到rmr2没有找到,但脚本仍然给了我一个成功!
我最终安装了rmr2fresh-in-r(使用sudor),并附带了所需的包、reforme2和catools,现在一切似乎都很好。

相关问题