在我滚烫的map reduce代码中,我想注销正在发生的某些步骤,以便在出现问题时调试map reduce作业。
我如何才能添加日志到我的烫伤工作?
例如
import com.twitter.scalding._
class WordCountJob(args: Args) extends Job(args) {
//LOG: Starting job at time blah..
TextLine( args("input") )
.read
.flatMap('line -> 'word) {
line: String =>
line.trim.toLowerCase.split("\\W+")
}
.groupBy('word) { group => group.size('count) }
}
.write(Tsv(args("output")))
//LOG - ending job at time...
}
1条答案
按热度按时间p3rjfoxz1#
任何日志框架都可以。显然,您也可以使用println()——它将出现在hadoop集群的作业历史记录(hdfs模式)或控制台(本地模式)中的作业标准输出日志文件中。
还可以考虑使用addtrap()方法定义一个陷阱来捕获错误记录。