如何在maven构建的java项目中编译spark测试库?

7kqas0il  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(385)

我不太熟悉java,但是我用java构建了一个spark应用程序。我想为我的spark应用程序编写一些单元测试。我看到Spark测试基地是非常有用的。我已将以下内容添加到pom.xml中:

<dependency>
    <groupId>com.holdenkarau</groupId>
    <artifactId>spark-testing-base_2.12</artifactId>
    <version>2.4.5_1.0.0</version>
    <scope>test</scope>
</dependency>

我使用的是junit框架,在尝试访问jsc()时测试失败。我目前的测试(逻辑还不太清楚):

public class SparkTest extends SharedJavaSparkContext {

 @Test
 public void verifyMapTest() {
     // Create and run the test
     List<String> input = Arrays.asList("1\tHeart", "2\tDiamonds");
     JavaRDD<String> inputRDD = jsc().parallelize(input);
 }
}

我使用以下maven命令构建jar:maven clean install
看来我并没有真正编译spark测试库。jsc()返回null,我得到null指针异常。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题