项目难点分析
elasticsearch 数据加载触发熔断
我们的 es 集群采用每日跑批推送全量数据 + 消息队列推送实时数据。全量推送是每日跑批完成后,由hbase生成txt文件,将文件推送到es部署服务器目录下,然后由 java 进程使用hazelhast jet 推送数据。某日在推送全量数据的时候触发了ES的内存熔断。
排查步骤:
- 通过cat命令查看ES的内存分布情况
GET _cat/nodes?h=name, heapCurrent, fielddataMemory, queryCacheMemory, requestCacheMemory
ES的堆内存由两部分组成,一部分是由 Lucene 引擎使用,这部分可以被垃圾回收;另一部分存储ES相关缓存,主要包括:
- queryCache:filter过滤器结果缓存,使用 LRU 淘汰策略
- requestCache:存储聚合结果
- fieldDataCache:存储索引需要排序及聚合的对应列的全部数据
- segmentsMemory:存储 Lucense 段的元信息