从运行在windows上的java web服务执行map reduce作业到远程集群

8ftvxx2r  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(270)

注意-我的windows计算机没有在本地运行hadoop。远程集群有hadoop集群。下面是配置--

Configuration config = HBaseConfiguration.create();
config.set("yarn.resourcemanager.address", 
"http://thdpcl1nn1.catmktg.com:8032"); 
config.set("mapreduce.framework.name", "yarn");
config.set("fs.defaultFS", "hdfs://thdpcl1nn1.catmktg.com:8020");
config.set("hbase.master.port", "60000");
config.set("hbase.zookeeper.quorum", "thdpcl1dn01.catmktg.com");
config.set("zookeeper.znode.parent", "/hbase-unsecure");
config.set("mapreduce.app-submission.cross-platform", "true");
config.set("hadoop.job.ugi", "token_svc");

我可以看到正在中提交的作业,但我看到以下错误--错误:找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.mrappmaster
有几个问题——有没有可能不在本地运行hadoop就将mr作业提交到远程集群?正在提交的作业具有本地windows计算机的用户名。该用户名在hadoop集群上不可用。这就是为什么有些类路径不可用的问题吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题