我已经读过这些课了 hadoop-common/src/util ，但找不到将作业与其数据集关联的类。hadoop如何知道哪个map reduce作业与哪个数据集相关？
hadoop-common/src/util
yebdmbv41#
这由输入格式决定。更准确地说：每个mapreduce作业都被分配一个 org.apache.hadoop.mapreduce.InputFormat （见 org.apache.hadoop.mapreduce.Job#setInputFormatClass )，框架使用它来确定输入拆分（=输入“数据集”）。你可以搜索钥匙 mapreduce.job.inputformat.class 为了检查您的工作中使用了哪些实现，当然还要设置自己的实现。
org.apache.hadoop.mapreduce.InputFormat
org.apache.hadoop.mapreduce.Job#setInputFormatClass
mapreduce.job.inputformat.class
1条答案
按热度按时间yebdmbv41#
这由输入格式决定。
更准确地说：每个mapreduce作业都被分配一个
org.apache.hadoop.mapreduce.InputFormat（见org.apache.hadoop.mapreduce.Job#setInputFormatClass)，框架使用它来确定输入拆分（=输入“数据集”）。你可以搜索钥匙
mapreduce.job.inputformat.class为了检查您的工作中使用了哪些实现，当然还要设置自己的实现。