# [Known-Issues]少数 TiKV 故障后存活 TiKV 内存上涨 OOM

## Key Words

TiKV, OOM

## Description

少数 TiKV 节点故障后，其他存活 TiKV 节点内存上涨并触发 OOM。

## Root Cause

为了推进 Resolved TS，每秒  region leader 会调用一次 check_leader RPC 请求到 follower 所在的 TiKV 以验证 Raft Leader，由于使用了 futures::join_all，调用方会等待接收其他 TiKV 的响应，当发生 TiKV 故障，这里会卡住并等待很长的 timeout 才会超时，期间 coroutine 持续累积引发内存上涨并导致 OOM。

[https://github.com/tikv/tikv/issues/10965](https://github.com/tikv/tikv/issues/10965)

## Diagnostic Steps

1. 集群中有一个少数 TiKV 发生故障，如宕机、HANG、网络隔离等
2. 监控上其他存活 TiKV 内存持续上涨

## Resolution

升级到 v5.1.4/v5.2.2 或以上版本

## Workaround

关闭 Resolved TS，即设置 resolved-ts.enable: false

## Affected Versions

v5.2.0 - v5.2.1
v5.1.0 - v5.1.3

> **注意**
>
> Resolved TS 模块还有个内存管理不当的问题可能引发 OOM [https://github.com/tikv/tikv/issues/12159](https://github.com/tikv/tikv/issues/12159)，现象与上述 issue 类似，影响版本包括 v5.1.x - v5.4.x，目前只在 v5.4.1 进行了修复，同样可以通过关闭 Resolved TS 的 Workaround 规避。