需要对spark流代码实现测试。这个特定的代码通过使用这个库在一个单独的jvm中运行,上面应用程序的输入是hdfs。我已经像本例中那样启动了minidfscluster(java版本),但我认为它不会工作,因为它们在两个不同的jvm中。如果我要成功地测试spark流代码,那么模仿hdfs输入的最佳方法是什么。我大致解释了上述情景。真正的要求是实现一个成功的 cucumber 测试。
xxls0lw81#
您可以在本地模式下运行spark并指定类似“file:///foo/bar”的路径,而不是试图模拟hdfs,然后使用本地文件系统代替hdfs。
1条答案
按热度按时间xxls0lw81#
您可以在本地模式下运行spark并指定类似“file:///foo/bar”的路径,而不是试图模拟hdfs,然后使用本地文件系统代替hdfs。