如何通过spark thrift服务器访问自定义自定义自定义项?

hlswsv35  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(523)

我在emr上运行spark thrift服务器。我通过以下方式启动spark thrift服务器:

sudo -u spark /usr/lib/spark/sbin/start-thriftserver.sh --queue interactive.thrift --jars /opt/lib/custom-udfs.jar

注意,我有一个customer-udfjar,我想将它添加到thrift服务器类路径中,所以我在上面的命令中添加了--jars/opt/lib/custom-udfs.jar。
一旦我在我的电子病历,我发出以下连接到spark thrift服务器。

beeline -u jdbc:hive2://localhost:10000/default

然后我可以像show databases那样发出命令。但如何访问自定义自定义项?我认为,通过在thrift服务器启动脚本中添加--jars选项,也可以为配置单元资源添加jar。
现在访问自定义udf的唯一方法是将customerudfjar添加到配置单元资源中

add jar /opt/lib/custom-udfs.jar

然后创建自定义项的函数。
问:有没有一种方法可以自动配置定制的udfjar,而不必每次向spark会话添加jar?
谢谢!

ff29svar

ff29svar1#

最简单的方法是编辑文件 start-thriftserver.sh ,结尾:
等待服务器就绪
执行安装sql查询
你也可以在jira上发布一个建议,这是一个非常好的特性“在启动时执行设置代码”。

相关问题