tencent cloud

背景

ES 单节点上，倒排索引中的 FST 结构默认常驻堆内内存，占比较高，尤其是在大磁盘的冷节点上，占比可达50%+，制约了单节点管理磁盘的能力，堆内内存受限，影响节点可用性。而在冷节点上，查询请求非常少，FST 常驻内存意义不大，因此我们需要将该部分数据结构移动到堆外管理，默认不加载，需要时从磁盘加载到堆外直接使用，以降低堆内内存使用量，提升单节点磁盘管理能力。

优化方案

基于 WLFU 淘汰策略，实现精准控制的堆外 cache，堆内基于零拷贝、弱引用实现第二级 cache，性能和堆内访问基本持平。

使用方式

开启、关闭 Off Heap 功能（默认关闭）

curl -H "Content-Type:application/json" -XPUT http://localhost:9200/_cluster/settings -d '{
  "persistent" : {
    "indices.segment_memory.off_heap.enable" : true
   }
}'

调整 Off Heap Cache 大小（默认500MB）

curl -H "Content-Type:application/json" -XPUT http://localhost:9210/_cluster/settings -d '{
 "persistent" : {
    "indices.segment_memory.off_heap.size" : "5gb"
  }
}'

可以设置为单节点堆外内存的1/3，最大不要超过32GB。具体示例如下：

• 单节点总内存（包括 jvm 和堆外内存）共64GB，可以设置为（64-32）/3 = 10GB
• 单节点总内存（包括 jvm 和堆外内存）共96GB，可以设置为（96-32）/3 = 20GB

优化效果

内存开销、数据管理能力、GC 优势明显，性能持平略有优势。

支持版本

6.8.2、7.5.1、7.10.1