spark流媒体和模拟hdfs

qcbq4gxm  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(358)

需要对spark流代码实现测试。这个特定的代码通过使用这个库在一个单独的jvm中运行,上面应用程序的输入是hdfs。我已经像本例中那样启动了minidfscluster(java版本),但我认为它不会工作,因为它们在两个不同的jvm中。
如果我要成功地测试spark流代码,那么模仿hdfs输入的最佳方法是什么。
我大致解释了上述情景。真正的要求是实现一个成功的 cucumber 测试。

xxls0lw8

xxls0lw81#

您可以在本地模式下运行spark并指定类似“file:///foo/bar”的路径,而不是试图模拟hdfs,然后使用本地文件系统代替hdfs。

相关问题