有没有办法从hadoop流媒体中的python脚本中获取信息错误？

zour9fqk 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(232)

我正在使用python和hadoop流媒体。尽管进行了仔细的单元测试，错误还是不可避免地出现。当它们这样做时，hadoop只会给出以下错误消息：

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)
...

这条消息对调试毫无帮助。
有没有办法从hadoop流媒体中的python脚本中获取信息错误？

hadoop python debugging error-handling hadoop-streaming

来源：https://stackoverflow.com/questions/12251627/is-there-any-way-to-get-informative-errors-from-python-scripts-in-hadoop-streami