我想为用c#/.net编写的spark应用程序编写单元测试。我目前正在使用xunit来编写测试，但是我还没有找到任何好的文档来编写单元测试来测试我的spark应用程序组件。
我已经编写了一个spark单元测试，但是如果运行“dotnet test”命令，它就会失败。如果我使用spark submit运行我的测试，就没有像测试通过或失败这样的输出。我使用的spark submit命令是“spark submit--class org.apache.spark.deploy.dotnet.dotnetrunner--master local bin/debug/netcoreapp3.1/microsoft-spark-2.4.x-0.12.1.jar dotnet bin/debug/netcoreapp3.1/medicalclaims.sparkunittests.dll”
任何帮助都将不胜感激。
1条答案
按热度按时间ctzwtxfj1#
我把它修好了，测试也正常了。我失踪了
Spark试验。因此，使用c#/.net运行spark测试的正确语句是spark submit——类org.apache.spark.deploy.dotnet.dotnetrunner——master local bin/debug/netcoreapp3.1/microsoft-spark-2.4.x-0.12.1.jar dotnet test bin/debug/netcoreapp3.1/medicalclaims.sparkunittests.dll