我用的是javaspark。
我正在装货 Parquet
将数据导入配置单元表,如下所示:
ds.write().mode("append").format("parquet").save(path);
然后我做
spark.catalog().refreshTable("mytable");//mytable is External table
在我试图从 Impala
我得到了以下例外:
无法打开hdfs文件
没有这样的文件或目录。根本原因:remoteexception:文件不存在
在我登上 Impala 之后 refresh mytable
我能看到数据。
如何从中生成刷新命令 Spark
?
我也在努力
spark.sql("msck repair table mytable");
还是不为我工作。
有什么建议吗?
谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!