从spark加载数据后无法打开hdfs文件

4szc88ey  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(231)

我用的是javaspark。
我正在装货 Parquet 将数据导入配置单元表,如下所示:

ds.write().mode("append").format("parquet").save(path);

然后我做

spark.catalog().refreshTable("mytable");//mytable is External table

在我试图从 Impala 我得到了以下例外:
无法打开hdfs文件
没有这样的文件或目录。根本原因:remoteexception:文件不存在
在我登上 Impala 之后 refresh mytable 我能看到数据。
如何从中生成刷新命令 Spark ?
我也在努力

spark.sql("msck repair table mytable");

还是不为我工作。
有什么建议吗?
谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题