我是新来的Spark和三角洲湖。我正在delta表的顶部创建配置单元表。我有必要的jar delta-core-shaded-assembly_2.11-0.1.0.jar,hive-delta_2.11-0.1.0.jar;在配置单元类路径中。设置以下属性。
SET hive.input.format=io.delta.hive.HiveInputFormat;
SET hive.tez.input.format=io.delta.hive.HiveInputFormat;
但在创建表时 CREATE EXTERNAL TABLE hive_table(col1 INT, col2 STRING) STORED BY 'io.delta.hive.DeltaStorageHandler' LOCATION '/path/to/my/delta/table'
获取以下异常:
失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddltask返回代码1。org.apache.spark.network.util.javautils.bytestringas(ljava/lang/string;lorg/apache/spark/network/util/byteunit;)j
两个表的架构都匹配。堆栈详细信息:spark:2.4.4 hive:1.2.1
非常感谢您的帮助。提前谢谢。
1条答案
按热度按时间wqsoz72f1#
带有delta lake的Hive仅支持spark 3.0和delta版本0.7.0。