有没有办法配置从日志中导出的文件的名称?
当前导出的文件包含冒号。在hadoop中,这是作为路径元素的无效字符,因此pyspark不能读取这些文件。显然,简单的解决方案是重命名文件,但这会干扰同步。
有没有办法配置名称或将其更改为不包含冒号?如有其他解决方案,我们将不胜感激。谢谢!
https://github.com/apache/hadoop/blob/trunk/hadoop-common-project/hadoop-common/src/site/markdown/filesystem/introduction.md
1条答案
按热度按时间c86crjj01#
此时,无法更改导出日志文件时的命名约定,因为此过程在后端是自动进行的。
如果您想请求在gcp中提供此功能,我建议您创建一个pit。此页面允许您报告错误并请求在gcp中实现新功能。