如何配置kudu测试线束以避免“块缓存容量超过内存压力阈值”

fhity93d  于 2021-06-21  发布在  Kudu
关注(0)|答案(1)|浏览(443)

我正在尝试按照《入门指南》中的指南使用kudutestharness。我创建了以下简单的测试用例。

import org.apache.kudu.test.KuduTestHarness;

import static org.junit.Assert.assertTrue;
import org.junit.Rule;
import org.junit.Test;

public class DemoTest{
    @Rule
    public KuduTestHarness harness=new KuduTestHarness();

    @Test
    public void testDemo(){
    assertTrue(true);
    }
}

但是我在控制台日志中发现以下错误。

2020-10-07 11:50:01,060 [cluster stderr printer] INFO  org.apache.kudu.test.cluster.MiniKuduCluster - E1007 11:50:01.059237 17257 block_cache.cc:99] Block cache capacity exceeds the memory pressure threshold (536870912 bytes vs. 498776800 bytes). This will cause instability and harmful flushing behavior. Lower --block_cache_capacity_mb or raise --memory_limit_hard_bytes.

2020-10-07 11:50:01,060 [cluster stderr printer] INFO  org.apache.kudu.test.cluster.MiniKuduCluster - E1007 11:50:01.059262 17257 flags.cc:441] Detected inconsistency in command-line flags; exiting

2020-10-07 11:50:01,100 [main] DEBUG org.apache.kudu.test.cluster.MiniKuduCluster - Response: error {
  code: RUNTIME_ERROR
  message: "failed to start masters: Unable to start Master at index 0: /tmp/kudu-binary-jar1893943400146501302/kudu-binary-1.13.0-linux-x86_64/bin/kudu-master: process exited with non-zero status 1"
}

我尝试向基础生成器添加一个标志,但没有任何影响。新标志不会显示在日志中的标志列表中。

import org.apache.kudu.test.cluster.MiniKuduCluster.MiniKuduClusterBuilder;
...
    static{
    MiniKuduClusterBuilder builder=KuduTestHarness.getBaseClusterBuilder();
    builder.addMasterServerFlag("--block_cache_capacity_mb=498776800");
    }
...

有人能告诉我正确配置测试线束的方向吗。

5lhxktic

5lhxktic1#

好的,我通过阅读源代码自己解决了这个问题。我很困惑为什么minikuducluster的相关javdocs没有在线。
答案是getbaseclusterbuilder()是工厂方法,而不是我假设的访问器方法。每次都会得到一个新的规则示例,当您创建一个新的规则示例时,test harness类将使用一个新的生成器,因此您需要在此时注入自定义生成器。有一个构造函数接受builder对象。
这段代码展示了如何做到这一点。

public static MiniKuduClusterBuilder builder;

    @BeforeClass
    public static void classInit(){
    builder=KuduTestHarness.getBaseClusterBuilder()
        .addMasterServerFlag("--block_cache_capacity_mb=475")
        .addTabletServerFlag("--block_cache_capacity_mb=475");
    }

    @Rule
    public KuduTestHarness harness=new KuduTestHarness(builder);

根本的问题是由于在我的笔记本电脑上使用内存有限的虚拟机。有没有我可以做很多来绕过这一点,所以在这一点上定制建设者的能力是非常有用的。

相关问题