概述
我开发了一个基于resteasy框架的restapi服务。在服务中,我将数据存储到hbase数据库。然后,执行由某些条件触发的map/reduce过程(例如插入一条记录)。
要求
在map类中,我导入了一些第三部分库。我不想把那些库打包到war文件中。
TableMapReduceUtil.initTableMapperJob(HBaseInitializer.TABLE_DATA, // input HBase table name
scan, // Scan instance to control CF and attribute selection
LuceneMapper.class, // mapper
null, // mapper output key
null, // mapper output value
job);
FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/qin/luceneFile"));
job.submit();
问题
如果打包war文件中的所有库,这些库将被部署到jetty容器中,那么它工作得很好。如果不将第三部分库打包到war中,而是将这些库上传到hdfs并将它们添加到类路径中,那么就不起作用。就像下面一样
conf.set("fs.defaultFS","hdfs://master:9000");
FileSystem hdfs = FileSystem.get(conf);
Path classpathFilesDir = new Path("bjlibs");
FileStatus[] jarFiles = hdfs.listStatus(classpathFilesDir);
for (FileStatus fs : jarFiles) {
Path disqualified = new Path(fs.getPath().toUri().getPath());
DistributedCache.addFileToClassPath(disqualified, conf);
}
hdfs.close();
1条答案
按热度按时间z8dt9xmd1#
试试tablemapreduceutil.addhbasedependencyjars()