使用apache livy向yarn/apache spark提交批处理作业时出现模拟错误

z9gpfhce  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(317)

使用apachelivy向spark集群提交spark submit(批处理)作业。当使用get请求列出当前正在运行的批处理作业(因此这意味着livy服务器正在按预期运行)时,我能够得到响应,但在尝试发布批处理作业时,我得到一个用户无法模拟错误。
设置:
由Yarn管理的Spark簇。
用于向yarn提交作业的服务帐户。
通过livy提交作业时,服务帐户用于提交集群上的实际作业。
错误在上面最后一点附近,livy返回一个错误,指出服务帐户用户(\u服务帐户\u用户\u )不能模拟请求用户(\u请求用户\u )。
有什么办法解决这个问题吗?我假设这是一个配置问题。
我尝试了cloudera推荐的配置,但没有成功:https://docs.cloudera.com/hdpdocuments/hdp2/hdp-2.6.4/bk_command-line-installation/content/ch21s06s04.html
使用curl请求:

curl --location --request POST 'https://xxxx.xxxx.com/livy/v1/batches' \
--header 'Content-Type: application/json' \
--header 'X-Requested-By: xxx_REQUESTING_USER_xxx' \
--header 'Authorization: Basic xxxxxYYYYxxxxx=' \
--header 'Cookie: YYYxxxxYYYY.xxxx' \
--data-raw '{
    "file": "/path_to_application_jar",
    "className": "application_class_name",
    "queue": "spark_que",
    "name": "application_name"
}'

答复:

{
    "msg": "User 'xxx_SERVICE_ACCOUNT_USER_xxx' not allowed to impersonate 'Some(xxx_REQUESTING_USER_xxx)'."
}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题