我刚刚创建了一个googleclouddataproc集群。一些基本的东西对我不起作用:
我正试图从主节点运行配置单元控制台,但它无法加载除root以外的任何用户(看起来有锁,控制台卡住了)。
但即使使用root,我也会看到一些奇怪的行为:
“显示表格;”显示名为“input”的表
查询该表会引发一个未找到该表的异常。
不清楚是哪个用户通过webui创建表。我创建了一个作业,执行它,但是没有通过控制台看到结果。
找不到任何关于这个的好文件-有人对此有想法吗?
我刚刚创建了一个googleclouddataproc集群。一些基本的东西对我不起作用:
我正试图从主节点运行配置单元控制台,但它无法加载除root以外的任何用户(看起来有锁,控制台卡住了)。
但即使使用root,我也会看到一些奇怪的行为:
“显示表格;”显示名为“input”的表
查询该表会引发一个未找到该表的异常。
不清楚是哪个用户通过webui创建表。我创建了一个作业,执行它,但是没有通过控制台看到结果。
找不到任何关于这个的好文件-有人对此有想法吗?
2条答案
按热度按时间tkclm6bt1#
运行
hive
由于默认的元存储配置,当前的命令有些中断。我建议您改用beeline客户机,它与dataproc配置单元作业的配置单元服务器2通信。您可以通过ssh运行
beeline -u jdbc:hive2://localhost:10000
在主人身上。yarn应用程序由hive服务器2作为用户“nobody”提交,您可以通过传递
-n
标记为beeline,但与默认权限无关。h7appiyu2#
这个线程有点旧,但当有人搜索谷歌云平台和Hive这个结果来了。所以我添加了一些有用的信息。
目前,为了向google dataproc提交作业,我认为-和所有其他产品一样-有3个选项:
从ui
从控制台使用如下命令行:
gcloud dataproc jobs submit hive --cluster=CLUSTER (--execute=QUERY, -e QUERY | --file=FILE, -f FILE) [--async] [--bucket=BUCKET] [--continue-on-failure] [--jars=[JAR,…]] [--labels=[KEY=VALUE,…]] [--params=[PARAM=VALUE,…]] [--properties=[PROPERTY=VALUE,…]] [GLOBAL-FLAG …]
rest api调用如下:https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs/submit希望这对某人有用。