与复制到hdfs不同，是否可以只在s3中获取一个bucket中的对象数组，以便在emr中进行处理？我已经尝试过这个方法，我不断地收到没有凭据的安全警告（甚至在我将它们添加到配置之后）（这是因为刚刚创建了新路径（“s3n://…”），或者运行jar告诉我，当我尝试使用aws sdk访问我的bucket时，我丢失了aws sdk。
iyfjxgzm1#
您可以将其添加到arguments部分在将其作为步骤添加时，选择customjarjar位置：s3://inbsightshadoop/jar/loganalysis.jar主类：无参数：s3://inbsightshadoop/insights input s3://inbsightshadoop/insights output失败时的操作：终止群集
1条答案
按热度按时间iyfjxgzm1#
您可以将其添加到arguments部分
在将其作为步骤添加时，选择customjar
jar位置：s3://inbsightshadoop/jar/loganalysis.jar
主类：无
参数：s3://inbsightshadoop/insights input s3://inbsightshadoop/insights output
失败时的操作：终止群集