从spark作业中调用jdbc到impala/hive并加载表

esyap4oy  于 2021-06-26  发布在  Impala
关注(0)|答案(1)|浏览(399)

我正在尝试用java编写一个spark作业,它将打开一个与impala的jdbc连接,让我加载一个表并执行其他操作。
我该怎么做?任何例子都会大有帮助。谢谢您!

jw5wzhpr

jw5wzhpr1#

如果必须使用jdbc,您可能需要尝试在spark驱动程序中执行查询。
e、 g.在python中使用impyla,您将从impala得到一个正常元组列表中的结果。稍后可以使用parallelize()将此结果转换为spark rdd。

相关问题