# [FAQ] TiDB-Cloud 的 BR 备份失败报错 "Please-reduce-your-request-rate.*"

## Key Words

TiDB Cloud, BR, S3

## Description

TiDB Cloud 备份失败，通过 Clinic 查询 BR 日志报错 S3 流控，S3 的流控会导致后执行的备份任务失败报错并退出。

```golang
2022-08-26 14:44:38 [2022/08/26 06:44:38.349 +00:00] [ERROR] [main.go:59] ["br failed"]
[error="error happen in store 7 at db-tikv-2.db-tikv-peer.tidb1379661944623214066.svc:20
bucKet: \ abaas-prod-Us-WeSt-2-1572813889188931282|" prefix: \"ab-1379661944623214066-1380084|" force_path_style:true >
Io (Cust
om { kind: Other, error: ("failed to put object rusoto error Request ID: None Body: <?xml version=|||"1.0ll " encoding=\ll"UTF-81||"?> lIn«Error><Code>SlowDo
wn</Code><Message>Please reduce your request rate.</Message>«RequestId>KY4QNBQ9J1ZSGWN@</RequestId><HostId>TcL8qVkpQ8ssoI9CxwgIVRZAM/C+Q3xT3cg7+xV/SLD7UCHAQ
KXKA4Ac jGeZ7ZHVqBPMBOD2Hxw=</HostId»</Error>|" f): [BR:KV: ErrKVStorage]tikv storage occur I/0 error"] [errorVerbose="(BR:KV : ErrKVStorage]tikv storage occur
I/0 error\error happen in store 7 at db-tikv-2.db-tikv-peer.tidb1379661944623214066.svc:20160:s3:<region:\"us-west-2\" bucket:\"dbaas-prod-us-west-2-1372813089188931282\" prefix:\"ab-1379661944623214066-1380084\" force_path_style:true > Io(Custom { kind: Other, error: \"failed to put object rusoto error Request ID: None Body: <?xml version=\\\"1.0\\\" encoding=\\\"UTF-8\\\"?>
n<Error><Code>SlowDown</Code><Message>Please reduce your request rate.</Message><RequestId>KY4QNBQ9J1ZSGWN0</RequestId>
```

在 Backup 失败前的日志，发现 TiDB 还在做清理数据操作。

```golang
2022-08-26 14:43:12 /tidb-backup-manager clean --namespace=tidb1379661944623214066 --backupName=ab-1379661944623214066-1328195
2022-08-26 14:43:12 /tidb-backup-manager clean --namespace=tidb1379661944623214066 --backupName=ab-1370661944623214066-1328219
```

## Content

S3 有流控机制，会返回那个错误。AWS 的人建议我们增加重试次数和重试时间（TiKV、BR 都会有根据不同阶段增加重试逻辑），限制单个 bucket 的流量限制。在 TiDB Cloud 中为防止 BR 备份互相争抢流量带宽，会将不同 Project 分别放在不同 bucket 中。上面的报错备份失败的场景，当时 TiDB 执行了另外两个清理数据的任务，导致与自动给备份的任务导致带宽达到阈值，触发流控最终导致后来的备份任务的失败。

如果遇到类似的情况，需要人工触发重新执行 BR 备份操作，理论上面是可以备份成功的。

## Affected Versions

N/A