如何在sparksql中使用配置单元钩子

9fkzdhlc  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(788)

我使用hive(2.1.1)钩子,如下所示:

set hive.exec.post.hooks=com.test.HiveTestHook;create table tmp.hive_hook_test(x int);

我想在sparksql(2.4.0)中运行这个sql,但是我发现hook没有被调用。我运行spark sql的方式如下:

spark-sql -e 'set spark.hadoop.hive.exec.post.hooks=com.test.HiveTestHook;create table tmp.hive_hook_test(x int);'

所以我想知道如何在sparksql中使用hivehook?

py49o6xq

py49o6xq1#

spark不支持Hive挂钩,详情请参阅:https://issues.apache.org/jira/browse/spark-18879

相关问题