hadoop 2.5.0在mesos 0.21.0上,库0.0.8执行器错误

pkln4tw6  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(271)

这个 stderr 运行map reduce作业时记录以下内容:

root@dbpc42:/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-S24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor_Task_Tracker_2/runs/latest# ls
hadoop-2.5.0-cdh5.2.0  hadoop-2.5.0-cdh5.2.0.tgz  stderr  stdout

的内容 stderr :
警告:在initgooglelogging()写入stderr i1202 19:41:40.323521 7223获取程序之前进行日志记录。cpp:76]正在获取uri'hdfs://dbpc41:9000/hadoop-2.5.0-cdh5.2.0.tgz'i1202 19:41:40.323685 7223获取程序。cpp:105]正在从下载资源'hdfs://dbpc41:9000/hadoop-2.5.0-cdh5.2.0.tgz'到'/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-s24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor\u task\u tracker\u 0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd/hadoop-2.5.0-cdh5.2.0.tgz'
i1202 19:41:48.779220 7223取数器。cpp:64]提取资源“/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-s24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor\u task\u tracker\u 0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd/hadoop-2.5.0-cdh5.2.0.tgz”'/tmp/mesos/slaves/20141201-225046-698725789-5050-19765-s24/frameworks/20141201-225046-698725789-5050-19765-0016/executors/executor\u task\u tracker\u 0/runs/59c9a5ac-c376-4e9e-b9b7-63a24ae84dcd'
sh:1:cd:无法cd到hadoop-2.5.0-cdh5.2.0
sh:1:./bin/hadoop:未找到
这个 stdout 是空的。
有趣的是,当我在主节点运行的同一个节点上运行从属节点时,问题不会出现,任务也会成功完成。只有远程从设备才会引起这个问题。有什么问题吗?

6fe3ivhb

6fe3ivhb1#

你需要做的是在你的mesos工作目录所在的地方提供+x访问。您不需要递归地使用777。

nbewdwxp

nbewdwxp2#

由jobtracker放置并由执行器运行的脚本无法访问目录。通过递归地更改目录的权限,我已经解决了这个问题 /tmp “免费”,777。

相关问题