故障排除cascalog

6mzjoqzu  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(307)

我是一个新的clojure/cascalog用户,尝试迁移一些pig脚本,但是在repl中经常会出现如下错误。
flowexception本地步骤失败cascading.flow.planner.flowstepjob.blockonjob(flowstepjob)。java:191)
“with debug”提供了更多信息,但仍然没有问题的根本原因。关于如何改进这个有什么想法吗?

pb3s4cty

pb3s4cty1#

我同意stacktraces有时是无益的。我建议写单元测试:http://sritchie.github.com/2011/09/30/testing-cascalog-with-midje.html 这就大大缩小了你真正的问题所在。
如果您的查询适用于基本情况,但在大数据上失败,您可以添加一个陷阱,以查看导致失败的输入:

(<- .... (:trap (hfs-textline "s3://.../errors" :sinkmode :replace)))

相关问题