hadoop分布式缓存错误消息解释

ttp71kqs 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(301)

我正试图在分布式缓存中放置3个文件。
我以编程方式放置其中一个，使用：

DistributedCache.addLocalFiles(conf, "local/path/to/file");

我还使用 -files 选项。
在本地以独立模式运行时，一切正常。
当试图在伪分布式模式下运行它时，我得到了这个错误，我不明白它的含义。我在谷歌上搜索了一下，但没有成功。

Distributed cache entry arrays have different lengths

有人知道这意味着什么，怎么解决吗？

1条答案

这个问题源于我正在向缓存中添加本地文件。
相反，我将这些文件移动到hdfs，并将hdfs版本添加到distributedcache。成功了！