72 小时长稳测试 · 数据可视化复盘笔记

最近跑了一组 72 小时的长时间稳定性测试，第一次完整地做了数据可视化和回看记录。把这次的过程和踩坑整理一下，希望对刚开始做类似工作的朋友有帮助。

这次的目标很明确：让样品在不干预的情况下连续运行 3 天，每 10 分钟采集一次关键指标，最后看是否有异常掉线、漂移或性能退化。

前期准备

最先踩的坑是采集脚本的稳定性。第一版脚本在跑过 18 小时后开始出现采样间隔漂移，从 10 分钟慢慢变成 11 分 30 秒，肉眼看不出来，但拉时间轴看就一目了然。

后来改成基于系统时钟的定时器，并把每次写入的时间戳同步用 ntpdate 对齐。改完后再跑 72 小时，间隔稳定在 9 分 58 秒 - 10 分 02 秒之间，可以接受。

采集到的数据

回放工具的小改进

回看数据时发现，单看数值很难发现规律，于是做了一个时间轴对齐的小工具：

1. 把多个指标放到同一时间轴上对比

2. 支持鼠标悬停查看任一时刻的所有指标

3. 一键导出时间对齐的 CSV

这个小工具写完只花了一晚上，但回看数据的效率提升了不止 5 倍。下次做长稳测试前应该早点写好。

踩坑清单

1. 脚本定时器一定要用系统时钟，不要用累加 sleep

2. 长时间测试一定要有独立的看门狗，主进程挂了能自愈

3. 数据要实时落盘，不要攒在内存里最后一次性写

4. 异常告警要做分级，避免每次都推同一个群

下一步

下周计划把 3 个手测用例迁到 CI 里跑，包括这次的长稳测试。一旦脚本稳定下来，每周都能跑一轮，不再依赖人工值守。