我正在使用Cloudera 4.2.0和Spark。
我只是想试一下Spark给出的一些例子。
// HdfsTest.scala
package spark.examples
import spark._
object HdfsTest {
def main(args: Array[String]) {
val sc = new SparkContext(args(0), "HdfsTest",
System.getenv("SPARK_HOME"), Seq(System.getenv("SPARK_EXAMPLES_JAR")))
val file = sc.textFile("hdfs://n1.example.com/user/cloudera/data/navi_test.csv")
val mapped = file.map(s => s.length).cache()
for (iter <- 1 to 10) {
val start = System.currentTimeMillis()
for (x <- mapped) { x + 2 }
// println("Processing: " + x)
val end = System.currentTimeMillis()
println("Iteration " + iter + " took " + (end-start) + " ms")
}
System.exit(0)
}
}这对于编译来说是可以的，但是总是存在一些运行时问题：
Exception in thread "main" java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.hdfs.HftpFileSystem could not be instantiated: java.lang.IllegalAccessError: tried to access method org.apache.hadoop.fs.DelegationTokenRenewer.<init>(Ljava/lang/Class;)V from class org.apache.hadoop.hdfs.HftpFileSystem
at java.util.ServiceLoader.fail(ServiceLoader.java:224)
at java.util.ServiceLoader.access$100(ServiceLoader.java:181)
at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:377)
at java.util.ServiceLoader$1.next(ServiceLoader.java:445)
at org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:2229)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2240)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2257)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:86)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2296)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2278)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:316)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:162)
at org.apache.hadoop.mapred.JobConf.getWorkingDirectory(JobConf.java:587)
at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:315)
at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:288)
at spark.SparkContext.hadoopFile(SparkContext.scala:263)
at spark.SparkContext.textFile(SparkContext.scala:235)
at spark.examples.HdfsTest$.main(HdfsTest.scala:9)
at spark.examples.HdfsTest.main(HdfsTest.scala)
Caused by: java.lang.IllegalAccessError: tried to access method org.apache.hadoop.fs.DelegationTokenRenewer.<init>(Ljava/lang/Class;)V from class org.apache.hadoop.hdfs.HftpFileSystem
at org.apache.hadoop.hdfs.HftpFileSystem.<clinit>(HftpFileSystem.java:84)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:532)
at java.lang.Class.newInstance0(Class.java:374)
at java.lang.Class.newInstance(Class.java:327)
at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:373)
... 16 more我在谷歌上搜索过，不知道Spark和HDFS有这种例外。val file = sc.textFile("hdfs://n1.example.com/user/cloudera/data/navi_test.csv")是发生问题的地方。
13/04/04 12:20:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable我得到了这个警告。也许我应该在CLASS_PATH中添加一些hadoop路径。
请随意给予任何线索. =）
谢谢大家。
任浩
3条答案
按热度按时间qgelzfjb1#
(This问题也在spark-users mailing list上提出/回答）。
您需要根据集群上运行的Hadoop/HDFS的特定版本编译Spark。
Spark使用Hadoop核心库与HDFS和其他Hadoop支持的存储系统进行通信。由于HDFS协议在不同版本的Hadoop中发生了变化，因此您必须针对集群运行的相同版本构建Spark。您可以通过在
project/SparkBuild.scala顶部设置HADOOP_VERSION变量来更改版本，然后重新构建Spark（sbt/sbt clean compile）。spark-users邮件列表存档包含几个关于针对特定Hadoop版本进行编译的问题，所以如果您在构建Spark时遇到任何问题，我会在那里进行搜索。
vuktfyat2#
你可以在构建Spark时用一个环境变量设置Coudera的Hadoop版本，在Cloudera的maven repo上查找你的确切工件版本，应该是这样的：
确保您运行的任何东西都使用构建Spark时使用的同一个Java引擎。
chhqkbe13#
这可能是与您系统中安装的Java相关的问题。Hadoop需要（Sun）Java 1.6+。请确保您具有：
Java_HOME="/usr/lib/jvm/java-6-sun（系统管理员）