配置单元数据加载:第一次成功,重复时失败

j0pj023g  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(241)

这让我很困惑:
基本上:
我准备了一个关于hdfs的数据文件;
我创建了一个没有位置信息的新Hive;
我将数据加载到hive表中;它工作,Hive表填充正确的数据;
我放下Hive桌,重新开始:
我没有再次上传hdfs文件,因为它已经存在了;
我用相同的脚本创建完全相同的表;
我试图将数据加载到同一个表中,但被此错误拒绝:
失败:semanticexception行1:17路径“data96/techie.txt”无效:没有与路径匹配的文件hdfs://nn01.itversity.com:8020/user/paslechoix/data96/techie.txt
对于hive的整个输出,请参见文件https://github.com/mdivk/175scala/blob/master/reviews/first_ok_repeat_fail.txt.

bis0qfac

bis0qfac1#

在第一次成功加载后失败的原因是文件被移动到您正在创建的表的目录中。在原始路径加载到表中之后,它将不会有任何数据。检查您最初将数据移动到的hdfs路径。
如果必须重复此过程,请再次将文件复制到hdfs路径并加载表。

6jjcrrmo

6jjcrrmo2#

删除托管表时,数据也将在删除表时被删除。但在外部表上,只有表将被删除。
检查此项以获得更清晰的信息
外部vs内部

相关问题