我正在尝试配置用作flink作业后端的rocksdb。（5G左右）但它需要处理大量的丢失键，我的意思是80%的get请求都不会在数据库中找到键，不知道有没有具体的配置来帮助解决内存消耗的问题。我曾尝试使用3位密钥的bloom filter并将块大小增加到16 kb，但似乎没有帮助，并且在内存不足的异常情况下作业失败。我很乐意听到更多的建议😊
mum43rcc1#
我想知道是否有一个特定的配置，以帮助与内存消耗。如果您能够获得堆分析（如https://gperftools.github.io/gperftools/heapprofile.html？），那么找出RocksDB的哪一部分消耗了最多的内存将很有帮助。根据您为RocksDB规划的内存预算（即期望值），您可以从以下一些通用内存控制开始：
我不清楚如何丢失键可以潜在地影响您的内存消耗在具体的方式虽然。
1条答案
按热度按时间mum43rcc1#
我想知道是否有一个特定的配置，以帮助与内存消耗。
如果您能够获得堆分析（如https://gperftools.github.io/gperftools/heapprofile.html？），那么找出RocksDB的哪一部分消耗了最多的内存将很有帮助。
根据您为RocksDB规划的内存预算（即期望值），您可以从以下一些通用内存控制开始：
我不清楚如何丢失键可以潜在地影响您的内存消耗在具体的方式虽然。