{ "analysis_uuid": "10602564149339879488_20251204_125800", "alert_type": "slow_query_alert", "cluster_id": "10602564149339879488", "org_id": "1372813089196917698", "alert_time": "2025-12-04T12:58:00", "tidb_version": "v8.5.x", "lookback_hours": 2, "output_dir": "data/screenshots/session_10602564149339879488_20251204_125800", "phase1_summary": { "total_screenshots": 23, "successful": 20 }, "phase2_summary": { "total_analyzed": 20, "severity_distribution": { "critical": 5, "warning": 7, "info": 5, "normal": 3 }, "critical_anomalies": [ { "metric_name": "Client Data Traffic", "metric_stage": "S0", "panel_id": 211, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S0_Client_Data_Traffic_panel211_1764817080.png", "severity_level": "critical", "severity_score": 9.5, "anomaly_type": "spike", "anomaly_time_range": "12:50-12:55", "peak_value": "118 MiB/s", "baseline_value": "30 MiB/s", "deviation_percentage": null, "visual_description": "在12:50左右，Out-rate（橙色曲线）出现极其显著的尖刺，从约30 MiB/s的基线水平急剧上升至约118 MiB/s的峰值，随后在12:55后快速回落至约90 MiB/s。In-rate（蓝绿色曲线）在整个时间段内保持稳定在约10 MiB/s。", "key_observations": [ "Out-rate在12:50-12:55期间出现清晰的尖刺峰值", "峰值持续时间约5分钟", "Out-rate从基线30 MiB/s上升至峰值118 MiB/s，增幅约3.9倍", "尖刺上升和下降都非常陡峭，呈现明显的三角形形态", "In-rate在整个观察期间保持平稳，无明显波动", "异常发生前（11:00-12:45），Out-rate维持在25-32 MiB/s的稳定范围内", "右侧Y轴显示累计流量从7.50 TB增长至约22.5 TB" ] }, { "metric_name": "Coprocessor Read Duration", "metric_stage": "S2", "panel_id": 3, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S2_Coprocessor_Read_Duration_panel3_1764817080.png", "severity_level": "critical", "severity_score": 9.5, "anomaly_type": "spike", "anomaly_time_range": "12:50-12:58", "peak_value": "1300μs (1.30ms)", "baseline_value": "600-700μs", "deviation_percentage": null, "visual_description": "在时间轴末端（约12:50-12:58）出现极其显著的尖刺峰值，峰值高度达到约1.30ms，远超整个时间窗口内的其他数值。峰值区域呈现密集的垂直条纹，颜色从底部的青色（Cop Wait）过渡到中部的橙色（Cop Handle），顶部出现绿色（Get Snapshot）。", "key_observations": [ "峰值出现在12:50-12:58时间段，持续约8分钟", "峰值高度约1.30ms（1300μs），是基线值的2倍以上", "峰值前（11:00-12:50）的基线值稳定在约600-700μs范围内", "峰值区域显示三个指标（Cop Handle、Cop Wait、Get Snapshot）均同步上升", "峰值呈现快速上升后逐渐下降的趋势，最高点在约12:52", "整个2小时窗口中，前90分钟保持相对稳定的波动模式" ] }, { "metric_name": "PD Schedule Operator Count", "metric_stage": "S0", "panel_id": 301, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S0_PD_Schedule_Operator_Count_panel301_1764817080.png", "severity_level": "critical", "severity_score": 9.5, "anomaly_type": "spike", "anomaly_time_range": "12:55-12:58", "peak_value": "1.50 ops/m (move-hot-read-leader)", "baseline_value": "0.02 ops/m (move-hot-read-leader)", "deviation_percentage": null, "visual_description": "在时间轴末端（约12:55-12:58）出现极其陡峭的垂直上升，红色曲线（move-hot-read-leader）从接近0突然跃升至1.50 ops/m峰值，黄色曲线（balance-region-scheduler）同步上升至约0.50 ops/m。上升持续约3-5分钟后维持在高位。", "key_observations": [ "红色曲线在12:55左右从基线0 ops/m垂直跃升至1.50 ops/m", "黄色曲线同步从0 ops/m上升至约0.50 ops/m", "蓝色曲线（balance-leader-scheduler）保持在0.50 ops/m稳定水平", "异常前整个时间窗口（11:00-12:55）所有曲线均保持在接近0的水平", "峰值出现在观测窗口的最右侧边缘，持续至截图时间点", "上升角度接近90度，呈现突发性特征" ] }, { "metric_name": "Coprocessor Response Size", "metric_stage": "S0", "panel_id": 342, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S0_Coprocessor_Response_Size_panel342_1764817080.png", "severity_level": "critical", "severity_score": 9.5, "anomaly_type": "spike", "anomaly_time_range": "12:50-12:58", "peak_value": "170 MiB (db-tikv-8)", "baseline_value": "~0 B", "deviation_percentage": null, "visual_description": "在 12:50 左右出现极其显著的尖刺峰值，所有 TiKV 实例的响应大小从接近 0 B 的基线突然跃升至 100-170 MiB 范围，形成一个持续约 8-10 分钟的高峰区域，随后快速回落至基线水平", "key_observations": [ "异常前 11:00-12:48 期间，所有曲线保持在接近 0 B 的极低水平，几乎为平线", "12:50 时刻开始，6 条曲线（db-tikv-6/8/7/0/2/1）同时出现陡峭上升", "峰值区域呈现多个连续的尖刺波动，最高点达到 170 MiB（db-tikv-8）", "所有实例的峰值形态高度同步，显示出一致的时间模式", "异常持续时间约 8-10 分钟，在 12:58 前后回落至基线", "峰值幅度相对基线的倍数极大（从 0 B 级别跃升至 100+ MiB）", "当前值（12:58）显示已基本恢复：db-tikv-6 为 67.3 MiB，其他实例在 19-99 MiB 范围" ] }, { "metric_name": "Write Pipeline Duration", "metric_stage": "S2", "panel_id": 2, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S2_Write_Pipeline_Duration_panel2_1764817080.png", "severity_level": "critical", "severity_score": 9.5, "anomaly_type": "spike", "anomaly_time_range": "12:52-12:58", "peak_value": "11.0 ms", "baseline_value": "7.0 ms", "deviation_percentage": null, "visual_description": "在时间轴末端（约12:52-12:58）出现极其显著的尖刺，所有堆叠区域同步急剧上升，峰值达到约11.0ms，远超前期稳定水平的7.0ms基线", "key_observations": [ "12:52之前：所有指标堆叠总高度稳定在6-7ms范围内，持续约2小时", "12:52开始：所有颜色区域（橙色、红色、绿色、蓝色、黄色）同步快速上升", "峰值特征：在12:55-12:57达到最高点约11.0ms，形成密集的垂直尖刺群", "持续时间：异常尖刺持续约6分钟（12:52-12:58）", "上升幅度：从基线7.0ms上升至峰值11.0ms，增幅约57%", "当前状态：图表右侧边缘显示尖刺仍在持续，未见回落趋势" ] }, { "metric_name": "Duration", "metric_stage": "S2", "panel_id": 80, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S2_Duration_panel80_1764817080.png", "severity_level": "warning", "severity_score": 8.5, "anomaly_type": "spike", "anomaly_time_range": "12:50-12:58", "peak_value": "125 ms", "baseline_value": "7.81 ms", "deviation_percentage": null, "visual_description": "图表右侧（12:50-12:58时段）出现显著的持续上升趋势，橙色曲线（999-ByRecordingRules）从基线约7-8ms急剧攀升至峰值约125ms，形成明显的陡峭上升曲线。绿色曲线（95-ByRecordingRules）同步出现较小幅度的上升至约31ms。", "key_observations": [ "橙色曲线在12:50后开始持续上升，持续时间约8分钟", "峰值出现在12:56-12:58时段，达到约125ms", "基线值在11:00-12:45期间稳定在7-8ms范围", "峰值与基线的比值约为15-18倍", "绿色曲线（95分位）同步上升至约31ms，显示异常影响范围较广", "蓝色和紫色曲线（99和80分位）保持相对稳定，仅有轻微波动", "异常期间曲线呈现持续上升而非单点尖刺" ] }, { "metric_name": "TiDB Memory", "metric_stage": "S3", "panel_id": 3, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S3_TiDB_Memory_panel3_1764817080.png", "severity_level": "warning", "severity_score": 8.5, "anomaly_type": "spike", "anomaly_time_range": "12:50-12:58", "peak_value": "5.59 GiB (process-db-tidb-2), 5.97 GiB (process-db-tidb-227)", "baseline_value": "4.5-5.0 GiB (11:00-12:45 期间的稳定水平)", "deviation_percentage": null, "visual_description": "在 12:50 附近，多条内存使用曲线出现明显的同步上升尖刺，从稳定的基线水平突然跃升至接近或超过 5 GiB，持续约 5-8 分钟后开始回落但未完全恢复至原基线", "key_observations": [ "12:50 时刻多个进程（process-db-tidb-*）的内存使用量同步出现显著上升", "尖刺峰值达到 5-6 GiB 区间，相比之前 4-5 GiB 的稳定基线有明显抬升", "异常持续时间约 5-8 分钟，曲线在 12:55 后开始下降但仍高于历史基线", "在 11:00-12:45 期间，所有曲线保持相对稳定的波动模式，波动幅度较小", "尖刺涉及多个进程同时发生，显示出集群级别的同步变化特征", "图例显示当前值（current）普遍高于最大值（max），表明异常发生在观测窗口末端" ] }, { "metric_name": "TiKV Disk Write IOPS", "metric_stage": "S3", "panel_id": 91, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S3_TiKV_Disk_Write_IOPS_panel91_1764817080.png", "severity_level": "warning", "severity_score": 8.5, "anomaly_type": "drop", "anomaly_time_range": "12:00-12:58", "peak_value": "430 io/s", "baseline_value": "390 io/s", "deviation_percentage": null, "visual_description": "图表显示磁盘写入 IOPS 在约 12:00 时刻发生明显的骤降，从高位平台（约 400 io/s）快速下降至低位平台（约 240 io/s），下降幅度约 40%，且低位状态持续至观察窗口结束", "key_observations": [ "11:00-12:00 期间，IOPS 维持在 350-430 io/s 的高位平台，存在中等幅度波动", "12:00 时刻出现陡峭的下降边缘，IOPS 在短时间内从约 400 io/s 降至约 230 io/s", "12:00 之后，IOPS 稳定在 220-280 io/s 的低位平台，波动幅度明显减小", "低位平台持续时间约 58 分钟（从 12:00 到 12:58），显示状态变化的持续性", "11:10 左右存在一个短暂的下探至约 250 io/s，但随后快速恢复", "整体曲线呈现明显的两阶段特征：高位稳定期和低位稳定期" ] }, { "metric_name": "TiDB CPU", "metric_stage": "S3", "panel_id": 168, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S3_TiDB_CPU_panel168_1764817080.png", "severity_level": "warning", "severity_score": 7.5, "anomaly_type": "drop", "anomaly_time_range": "11:50-12:10", "peak_value": "100% (11:00-11:50 期间的稳定高位)", "baseline_value": "80%-100% (异常前的正常范围)", "deviation_percentage": null, "visual_description": "在 11:50-12:10 时间段，多条曲线出现明显的下降趋势，CPU 使用率从 80%-100% 区间下降至 60%-80% 区间，持续约 20 分钟后逐渐恢复", "key_observations": [ "11:50-12:10 期间，上层曲线群（蓝色、绿色、青色系）从 100% 附近下降至 80% 左右", "中层曲线群（紫色、黄色系）从 80% 附近下降至 60%-70% 区间", "下层曲线群（红色、橙色系）从 40%-60% 下降至 40% 以下", "下降过程持续约 20 分钟，呈现逐渐下降的趋势", "12:10 之后曲线开始回升，逐渐恢复到之前的水平", "11:15 附近存在一个短暂的尖刺，多条曲线同时达到峰值后快速回落" ] }, { "metric_name": "TiKV Read IO Bytes", "metric_stage": "S0", "panel_id": 102, "screenshot_path": "data/screenshots/session_10602564149339879488_20251204_125800/S0_TiKV_Read_IO_Bytes_panel102_1764817080.png", "severity_level": "warning", "severity_score": 7.5, "anomaly_type": "spike", "anomaly_time_range": "11:38-11:42, 12:38-12:42, 12:48-12:52", "peak_value": "62.0 MiB/s", "baseline_value": "14.3-28.6 MiB/s", "deviation_percentage": null, "visual_description": "图表显示多条曲线在整个时间范围内呈现周期性波动，其中橙色曲线（total）在11:40左右出现一个显著的尖刺峰值，达到约62 MiB/s，随后回落。在12:40和12:50附近也观察到较明显的峰值，分别达到约52 MiB/s和47.7 MiB/s。", "key_observations": [ "橙色曲线（total）在11:40时刻出现最高峰值，约62 MiB/s", "基线值在14-28 MiB/s范围内波动", "12:40和12:50附近出现次级峰值，分别约52 MiB/s和47.7 MiB/s", "黄色曲线（foreground_read）跟随橙色曲线的主要波动模式", "绿色曲线（compaction）在底部区域显示间歇性尖刺，峰值约16 MiB/s", "紫色和粉色曲线（level_zero_compaction和foreground_write）在底部区域显示较低幅度的波动", "整体呈现周期性的波动模式，峰值持续时间较短（约1-3分钟）" ] } ] }, "phase3_4_analysis": { "anomaly_summary": "在 12:50-12:58 时间段，观察到 5 个 Critical 异常和 7 个 Warning 异常，主要集中在 TiKV 存储层（S6）、TiDB 执行层（S2）和资源层（S3）。异常呈现明显的时间集中性和连锁反应特征，持续约 8 分钟后开始缓解。", "primary_metrics": [ "Coprocessor Response Size (Critical, 9.5分) - 从 ~0 B 飙升至 170 MiB", "Client Data Traffic (Critical, 9.5分) - 出站流量从 30 MiB/s 飙升至 118 MiB/s", "Coprocessor Read Duration (Critical, 9.5分) - 延迟从 600μs 飙升至 1300μs", "PD Schedule Operator Count (Critical, 9.5分) - move-hot-read-leader 从 0.02 ops/m 飙升至 1.50 ops/m", "Write Pipeline Duration (Critical, 9.5分) - 从 7.0 ms 飙升至 11.0 ms" ], "timeline": "12:50 开始出现 Coprocessor Response Size 和 Client Data Traffic 同步飙升，随后触发 Coprocessor Read Duration 延迟增加（12:50-12:58）、TiKV CPU 飙升（12:50-12:58）、TiDB Memory 增长（12:50-12:58）、Write Pipeline Duration 增加（12:52-12:58），最后在 12:55-12:58 触发 PD 热点调度。异常持续约 8 分钟。", "root_cause_hypothesis": "大查询或扫表查询导致 Coprocessor 处理海量数据，触发 TiKV 存储层和资源层连锁反应，最终引发热点 Region 调度", "evidence_chain": [ "1. [触发点] Coprocessor Response Size 从 ~0 B 突然飙升至 170 MiB（12:50），说明 Coprocessor 开始处理大量数据返回", "2. [连锁反应-网络层] Client Data Traffic 出站流量从 30 MiB/s 飙升至 118 MiB/s（3.9倍），与 Coprocessor Response Size 时间完全同步，证明大量查询结果正在返回客户端", "3. [连锁反应-延迟层] Coprocessor Read Duration 延迟翻倍（600μs → 1300μs），说明 Coprocessor 处理压力过大，出现排队和延迟", "4. [连锁反应-资源层] TiKV CPU 从 600% 飙升至 850%（db-tikv-7），多个实例同步上升至 700-750%，说明 Coprocessor 计算密集型操作消耗大量 CPU", "5. [连锁反应-内存层] TiDB Memory 从 4.5-5.0 GiB 上升至 5.59-5.97 GiB，说明查询结果集在 TiDB 层缓存和处理", "6. [连锁反应-执行层] Duration 999 分位从 7.81 ms 飙升至 125 ms（16倍），说明查询延迟显著恶化", "7. [连锁反应-写入层] Write Pipeline Duration 从 7.0 ms 飙升至 11.0 ms（12:52-12:58），可能是 Coprocessor 压力导致的资源竞争", "8. [系统响应] PD Schedule Operator Count 中 move-hot-read-leader 从 0.02 ops/m 飙升至 1.50 ops/m（12:55-12:58），说明系统检测到读热点并尝试调度 Leader 以均衡负载", "9. [佐证] TiKV Read IO Bytes 在 12:48-12:52 出现峰值（47.7 MiB/s），与 Coprocessor 异常时间接近，说明存在大量磁盘读取操作" ], "confidence_score": 0.85, "recommendations": [ "立即检查 12:50-12:58 时段的 Slow Query Log，重点关注扫描行数超过 10 万行或执行时间超过 1 秒的查询", "使用 EXPLAIN ANALYZE 分析可疑查询的执行计划，确认是否存在全表扫描或缺失索引导致的大范围数据扫描", "检查是否有定时任务或批处理作业在 12:50 左右触发，考虑调整执行时间或优化查询逻辑", "分析 Coprocessor Response Size 最高的 TiKV 实例（db-tikv-8，170 MiB），确认是否存在热点 Region，考虑手动 split Region 或调整 Region 大小", "监控 PD 的 move-hot-read-leader 调度效果，如果热点问题持续，考虑使用 Follower Read 或调整业务查询模式", "为高频大查询添加合适的索引，或考虑使用 TiFlash 列存引擎处理分析型查询，减轻 TiKV Coprocessor 压力", "设置查询超时和结果集大小限制，防止单个查询消耗过多资源影响集群稳定性", "关注 Write Pipeline Duration 的异常（12:52-12:58），如果写入延迟持续恶化，需要进一步排查是否存在写入热点或磁盘 IO 瓶颈" ] } }