我一直在尝试在亚马逊私有云上的一台干净的ubuntu14.04机器上设置hadoop/spark/sparkling water。以根的身份做每件事。我成功地获得了java-6、scala2.10.5,然后wget并解包了hadoop2.6、spark1.2.1和sparklingwater0.2.1-47。
我将hadoop\u home和spark\u home导出到正确的目录,并运行bin/sparkling shell:
import org.apache.spark.h2o._
import org.apache.spark.examples.h2o._
val h2oContext = new H2OContext(sc).start()
接下来是大量的开始任务x/完成任务x输出,然后是
java.lang.IllegalArgumentException: Cannot execute H2O on all Spark executors:
numH2OWorkers = -1"
executorStatus = (0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(0,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(0,false),(2,false),(1,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(2,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(2,false),(1,false),(0,false),(0,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(0,false),(1,false),(2,false),(1,false),(2,false)
at org.apache.spark.h2o.H2OContext.start(H2OContext.scala:112)
(...)
有人能指出我可能做错了什么和/或遗漏了什么吗?如果需要/有帮助,我可以发布我的精确设置脚本。
1条答案
按热度按时间hujrc8aj1#
我通过构建项目而不是下载zip来解决这个问题。目前对我有效的设置(我并不声称它是唯一有效的设置)是:openjdk7、hadoop2.6、spark1.2.0。注意hadoop\u home和spark\u home必须导出shell变量,并且必须将机器的私有ip添加到/etc/hosts表中,这可以通过以下方法完成:
然后git克隆sparklingwater项目并在项目目录中构建./gradlew。