livy会话已损坏

k3fezbri  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(327)

我们使用apachelivy服务器与spark集群通信。我们注意到有些语句在执行时出错,然后livy会话就变得不可用了。例如,我们将fbprophet用于timeseries模型。fbprophet和pystan产生一些控制台输出。一旦这个输出被记录到会话中,语句就会给出错误。尽管作业继续在集群上执行。之后没有语句正确运行。用FBP代码运行语句后输出
Unrecognized token 'Iter': was expecting 'null', 'true', 'false' or NaN at [Source: Iter log prob ||dx|| ||grad|| alpha alpha0 # evals Notes ; line: 1, column: 9] 类似地,在使用mlflow build docker命令创建docker映像时,它还生成有关映像创建过程的输出。同样,一旦这个输出被生成,下面是builddocker的输出
Unexpected character ('/' (code 47)): maybe a (non-standard) comment? (not recognized as one since ``````Feature 'ALLOW_COMMENTS' not enabled for parser) at [Source: /tmp/tmpq6gz1q3t/; line: 1, column: 2] 主要问题是,在这些发言之后,会议变得无法使用。有没有人在apache livy上遇到过这样的问题?
我可以想到的一个解决方案是抑制pystan和docker进程的输出,但我无法理解。我们怎样才能阻止输出被登录到livy会话?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题