我正试着了解spark以及如何使用第三方库，这些库不是用来处理hdfs文件系统路径的，只是现在的本地文件系统。在functions（）中是否可以/建议从hdfs加载文件并将其复制到本地文件？在一个函数中，我是在单个节点上执行的一段独立代码中，对吗？那么，将一个文件复制到一个临时文件是在一个函数安全的范围内，或者至少不是一个问题？对于hdfs第三方库，还有其他最佳实践吗？
brgchamk1#
您可以使用下一个scala代码来实现这一点，这是安全的，没有什么特别的：
logData = sc.textFile(logFile) // from HDFS logData.saveAsTextFile("/tmp/save-logData") // save it to local dir
1条答案
按热度按时间brgchamk1#
您可以使用下一个scala代码来实现这一点，这是安全的，没有什么特别的：