三角洲湖Hive表

rur96b6h  于 2021-05-29  发布在  Spark
关注(0)|答案(1)|浏览(425)

我是新来的Spark和三角洲湖。我正在delta表的顶部创建配置单元表。我有必要的jar delta-core-shaded-assembly_2.11-0.1.0.jar,hive-delta_2.11-0.1.0.jar;在配置单元类路径中。设置以下属性。

SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;

但在创建表时 CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING) STORED BY 'io.delta.hive.DeltaStorageHandler' LOCATION '/path/to/my/delta/table' 获取以下异常:
失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddltask返回代码1。org.apache.spark.network.util.javautils.bytestringas(ljava/lang/string;lorg/apache/spark/network/util/byteunit;)j
两个表的架构都匹配。堆栈详细信息:spark:2.4.4 hive:1.2.1
非常感谢您的帮助。提前谢谢。

wqsoz72f

wqsoz72f1#

带有delta lake的Hive仅支持spark 3.0和delta版本0.7.0。

<dependency>
  <groupId>io.delta</groupId>
  <artifactId>delta-core_2.12</artifactId>
  <version>0.7.0</version>
</dependency>

相关问题