我正在使用Hadoop库在S3中上传文件。由于缺少某些指标配置文件，因此出现此异常
MetricsConfig - Could not locate file hadoop-metrics2-s3a-file-system.properties org.apache.commons.configuration2.ex.ConfigurationException:
Could not locate: org.apache.commons.configuration2.io.FileLocator@77f46cee[fileName=hadoop-metrics2-s3a-file-system.properties,basePath=<null>,sourceURL=,encoding=<null>,fileSystem=<null>,locationStrategy=<null>]我当前的配置是
configuration.set("fs.s3a.access.key", "accessKey")
configuration.set("fs.s3a.secret.key", "secretKey")将此配置文件添加到何处？向该配置文件添加什么？
2条答案
按热度按时间wfveoks01#
别担心，这只是一个恼人的警告，只有当s3a或abfs连接器运行在一个长寿命的应用程序中时，它才有意义，在这个应用程序中，度量被收集并提供给一些管理工具。
在spark配置目录的www.example.com文件中将日志级别设置为警告log4j.properties
rkue9o1l2#
我只是在类路径中放置了一个空文件，它就不再抱怨了。比如：