spark应用程序参数编码

jrcvhitl  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(310)

spark似乎对应用程序args使用了平台编码参数,但是哪一个?
我启动了一个spark应用程序,其参数如下:

final List<String> params = createParamList(...)
sparkLauncher.addAppArgs(params.toArray(new String[params.size()]));

似乎取决于平台,在某些平台上,编码错误:

INFOS:   childArgs               [ [...] ---user=Syst??me]

用户应为“systè“我”
我试图将java opts file.encoding param设置为driver和executor,但没有做任何更改。
有人有主意吗?
厚度

bejyjqdl

bejyjqdl1#

这可能是因为在tomcat启动时设置了一个错误的lang环境变量。
你能执行吗 System.getenv("LANG"); 就在你的spark提交之前?

相关问题