java—如何将泛型参数传递给HadoopJAR

ogsagwnx 于 2021-05-30 发布在 Hadoop

关注(0)|答案(1)|浏览(360)

我将参数传递给hadoop jar，如下所示：

hadoop  jar C:\Pointerfile.jar main.com.asos.recommendations.Pointerfile -D Signal=Signaltest -D ProductData=ProductData -D CustomerSegment=CustomerSegment -D CustomerCategory=CustomerCategory -D P2PSimilarity=P2PSimilarity -D ProductCategory=ProductCategory/test -D ProductSegment=ProductSegment/test  -D Customer=Customer -D ProductDataCN=ProductDatab -D CustomerSegmentCN=CustomerSegmentb -D CustomerCategoryCN=CustomerCategoryb -D P2PSimilarityCN=P2PSimilarityb -D ProductCategoryCN=ProductCategoryb -D ProductSegmentCN=ProductSegmentb -D SignalCN=Signalb -D CustomerCN=Customerb -D SAN=SAN -D version=v0.1

在java代码中，我尝试访问这些参数：

Configuration conf = new Configuration();        
System.out.println("parameters are" + conf.get("Signal"));

但它返回null。
我还尝试了删除空间：
-dsignal=signal和“-dsignal=signal”

Java hadoop

来源：https://stackoverflow.com/questions/27510455/how-to-pass-generic-parameters-to-hadoop-jar

1条答案

按热度按时间

bbuxkriu1#

使用此类类：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class MyClass extends Configured implements Tool {

    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf();
        System.out.println("parameters are" + conf.get("Signal"));

        // Some code ...

        return 0;
    }

    public static void main(String[] args) throws Exception {
        int exitCode = ToolRunner.run(new MyClass(), args);
        System.exit(exitCode);
    }
}

在这个类中，getconf（）将被参数填充。对于call，不要使用空格或引号：

hadoop  jar C:\Pointerfile.jar main.com.asos.recommendations.Pointerfile -DSignal=Signaltest -DProductData=ProductData -DCustomerSegment=CustomerSegment -DCustomerCategory=CustomerCategory -DP2PSimilarity=P2PSimilarity -DProductCategory=ProductCategory/test -DProductSegment=ProductSegment/test  -DCustomer=Customer -DProductDataCN=ProductDatab -DCustomerSegmentCN=CustomerSegmentb -DCustomerCategoryCN=CustomerCategoryb -DP2PSimilarityCN=P2PSimilarityb -DProductCategoryCN=ProductCategoryb -DProductSegmentCN=ProductSegmentb -DSignalCN=Signalb -DCustomerCN=Customerb -DSAN=SAN -Dversion=v0.1

赞(0）回复(0）举报 2021-05-30

我来回答

java—如何将泛型参数传递给HadoopJAR

1条答案

相关问题

热门标签

最新问答