配置单元查询-失败的semanticexception无效路径

3pvhb19x  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(501)

我的问题是:
我刚得到我的第一个azure订阅转换为按需付费订阅(第一个是30天试用)后,它被关闭时,我用光了第一套免费信用卡。现在一切又恢复正常了-我仍然有一个旧的资源组,在这个资源组下我建立了一个新的集群。包含我的csv数据的文件仍然存在于我上次创建的容器中(不是默认容器,而是先前建立的容器)。我唯一需要重新创建的是加载数据所需的配置单元表。我又能建立起那张table。但是,当我尝试运行配置单元查询以实际从csv文件将数据加载到配置单元表时,如下所示。。。

LOAD DATA INPATH '/container1/HdiSamples/user/data-file.csv' OVERWRITE INTO TABLE default.hive_table;

…我不断收到“失败”作为错误消息(我使用data lake tools for vs上载blob并运行查询)。在specificerror日志中,以“failed:semanticexception etc.”开头的行每次都会突出显示(尽管文件上载使用了不同的位置,但仍会发生这种情况。
16/12/01 04:16:25 warn conf.hiveconf:名称为hive.log.dir的hiveconf不存在失败:semanticexception行1:17无效路径“”/container1/hdisamples/user/data file.csv“”:没有与路径匹配的文件wasb://container1@resourcegroup.blob.core.windows.net/container1/hdisamples/user/data-file.csv
我的问题是:
有人能告诉我为什么没有在文件实际所在的位置找到并加载文件吗。。。?
我只是不知道这个错误的原因。。。

qmb5sa22

qmb5sa221#

虽然我问这个问题已经有一段时间了,但我自己想出了一个解决问题的办法,我想,我会和其他人分享。。。
我有大约一个星期的问题,无法从azure blob存储将数据加载到配置单元表中。我的blob中有两个名为data-file.csv和data-file-extended-1.csv的csv文件。请注意文件扩展名中的大写字母!
hive和hadoop不接受这些文件,除非。。。a) 文件名的拼写完全相同,包括文件扩展名中的大写字母;b)文件名大大缩短,没有连字符和数字(在我的例子中,我只使用了6个连体字母,即“datfil”和“datfix”)
令人震惊的是,无论是在官方的azure文档中,还是在web上,都没有提到这些问题。但是,这两个调整将解决错误消息。
只是想让人们知道。。。

相关问题