我正在使用hadoop库上传s3中的文件。由于某些度量配置文件丢失，我得到了这个异常
MetricsConfig - Could not locate file hadoop-metrics2-s3a-file-system.properties org.apache.commons.configuration2.ex.ConfigurationException:
Could not locate: org.apache.commons.configuration2.io.FileLocator@77f46cee[fileName=hadoop-metrics2-s3a-file-system.properties,basePath=<null>,sourceURL=,encoding=<null>,fileSystem=<null>,locationStrategy=<null>]我当前的配置是
configuration.set("fs.s3a.access.key", "accessKey")
configuration.set("fs.s3a.secret.key", "secretKey")在何处添加此配置文件？向配置文件中添加什么？
1条答案
按热度按时间vlurs2pr1#
别担心，这只是个恼人的警告。只有当s3a或abfs连接器在一个长寿命的应用程序中运行时，它才是相关的，在这个应用程序中，度量数据被收集并提供给一些管理工具。
在spark conf dir的log4j.properties文件中将日志级别设置为warn