我不太熟悉java,但是我用java构建了一个spark应用程序。我想为我的spark应用程序编写一些单元测试。我看到Spark测试基地是非常有用的。我已将以下内容添加到pom.xml中:
<dependency>
<groupId>com.holdenkarau</groupId>
<artifactId>spark-testing-base_2.12</artifactId>
<version>2.4.5_1.0.0</version>
<scope>test</scope>
</dependency>
我使用的是junit框架,在尝试访问jsc()时测试失败。我目前的测试(逻辑还不太清楚):
public class SparkTest extends SharedJavaSparkContext {
@Test
public void verifyMapTest() {
// Create and run the test
List<String> input = Arrays.asList("1\tHeart", "2\tDiamonds");
JavaRDD<String> inputRDD = jsc().parallelize(input);
}
}
我使用以下maven命令构建jar:maven clean install
看来我并没有真正编译spark测试库。jsc()返回null,我得到null指针异常。
暂无答案!
目前还没有任何答案,快来回答吧!