如何在机器内部运行GoogleCloudDataProc上的hive?

cvxl0en2  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(306)

我刚刚创建了一个googleclouddataproc集群。一些基本的东西对我不起作用:
我正试图从主节点运行配置单元控制台,但它无法加载除root以外的任何用户(看起来有锁,控制台卡住了)。
但即使使用root,我也会看到一些奇怪的行为:
“显示表格;”显示名为“input”的表
查询该表会引发一个未找到该表的异常。
不清楚是哪个用户通过webui创建表。我创建了一个作业,执行它,但是没有通过控制台看到结果。
找不到任何关于这个的好文件-有人对此有想法吗?

tkclm6bt

tkclm6bt1#

运行 hive 由于默认的元存储配置,当前的命令有些中断。
我建议您改用beeline客户机,它与dataproc配置单元作业的配置单元服务器2通信。您可以通过ssh运行 beeline -u jdbc:hive2://localhost:10000 在主人身上。
yarn应用程序由hive服务器2作为用户“nobody”提交,您可以通过传递 -n 标记为beeline,但与默认权限无关。

h7appiyu

h7appiyu2#

这个线程有点旧,但当有人搜索谷歌云平台和Hive这个结果来了。所以我添加了一些有用的信息。
目前,为了向google dataproc提交作业,我认为-和所有其他产品一样-有3个选项:
从ui
从控制台使用如下命令行: gcloud dataproc jobs submit hive --cluster=CLUSTER (--execute=QUERY, -e QUERY | --file=FILE, -f FILE) [--async] [--bucket=BUCKET] [--continue-on-failure] [--jars=[JAR,…]] [--labels=[KEY=VALUE,…]] [--params=[PARAM=VALUE,…]] [--properties=[PROPERTY=VALUE,…]] [GLOBAL-FLAG …] rest api调用如下:https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs/submit
希望这对某人有用。

相关问题