我在用hibench测试spark流媒体。我使用hibench/./datagen.sh和hibench/./run.sh生成和处理数据。
我将$spark\u home$/conf/spark-defaults.conf中的值spark.streaming.blockinterval配置为200，将$hibench\u home$/conf/spark.conf中的值hibench.streambench.spark.batchinterval配置为2000。
因此，我假设每个微批将被划分为10个块，并启动10个map任务。然而，正如spark ui所示，一个微批处理只包含一个map任务。
我认为$spark\u home$/conf/spark-defaults.conf中的值spark.streaming.blockinterval在使用hibench基准测试时可能不起作用，因此我尝试将spark.streaming.blockinterval添加到$hibench\u home$/conf/spark.conf中，但也不起作用。