如果另一个进程删除正在运行的spark作业的.hivestaging目录，会发生什么情况？会不会导致工作失败数据丢失但工作成功而不是数据丢失和工作成功或者，是否有任何hdfs锁会导致目录不会被删除谢谢
neekobn81#
配置单元在运行配置单元客户端和默认hdfs示例的计算机上都使用临时文件夹。这些文件夹用于存储每个查询的临时/中间数据集，通常在查询完成时由配置单元客户端进行清理。一旦查询执行完成，数据就被移动到输出hdfs位置。当您删除 .hiveStaging 目录配置单元查询/驱动程序代码将失败 java.io.IOException .
.hiveStaging
java.io.IOException
1条答案
按热度按时间neekobn81#
配置单元在运行配置单元客户端和默认hdfs示例的计算机上都使用临时文件夹。这些文件夹用于存储每个查询的临时/中间数据集，通常在查询完成时由配置单元客户端进行清理。
一旦查询执行完成，数据就被移动到输出hdfs位置。
当您删除
.hiveStaging目录配置单元查询/驱动程序代码将失败java.io.IOException.