我用的是 Impala ，我知道 Impala 是在记忆中处理的。我已经搜索了impala配置选项的列表，但是还没有找到关于这个的完整文档，特别是关于内存/堆的文档。 Impala 有这样的设置吗？还是依赖于hdfs/datanode堆空间？我知道你可以用 -mem_limit ，但我想更好地理解这是怎么做到的。
-mem_limit
vmpqdwk31#
从cdh5.1.0中包含的impala1.4.0版本开始，impala在查询处理过程中同时使用内存和磁盘。要了解有关如何控制 Impala 对内存的使用的更多信息，我建议阅读有关 Impala 的cloudera文档，特别是：利用impala进行Yarn资源管理在impala中使用hdfs缓存修改impala启动选项您将找到有关如何配置impala内存使用的许多方面的更多信息，包括与hdfs缓存和hadoop yarn（通过llama）的集成。有关hdfs缓存的更多信息，请参阅andrew wang和colin mccabe在hadoop summit 2014上的演示。有关llama的更多信息，请参阅henry robinson在hadoop world nyc 2013上的演示。
1条答案
按热度按时间vmpqdwk31#
从cdh5.1.0中包含的impala1.4.0版本开始，impala在查询处理过程中同时使用内存和磁盘。要了解有关如何控制 Impala 对内存的使用的更多信息，我建议阅读有关 Impala 的cloudera文档，特别是：
利用impala进行Yarn资源管理
在impala中使用hdfs缓存
修改impala启动选项
您将找到有关如何配置impala内存使用的许多方面的更多信息，包括与hdfs缓存和hadoop yarn（通过llama）的集成。有关hdfs缓存的更多信息，请参阅andrew wang和colin mccabe在hadoop summit 2014上的演示。有关llama的更多信息，请参阅henry robinson在hadoop world nyc 2013上的演示。