一天 47 条通知,44 条不该发:我给告警分了三级

上周三我干了一件有点闲的事:数了一天的手机通知。

从早上七点半到晚上十一点,一共 47 条。真正需要我当时就放下手里的活、去做点什么的,3 条。

剩下 44 条里,一半是「任务已完成」,另一半是「某项指标正常」。它们不算错,甚至可以说每一条都是事实。但它们合起来干成了一件事:把我训练成看见通知就划掉的人。

这事儿的代价,我后来才撞上。上个月余额破线那条提醒推过来,我隔了四十分钟才点开。不是没看见,是看见的那一秒,脑子里先冒出来的判断是「又是例行报告」。

通知的成本,不在它响的那一下

大多数人算通知的成本,算的是「手机响了一下」。真正的成本在后面:每一次响,你都要决定一次「这个要不要管」。

这个决定很便宜,一次两秒。但它会累积,而且它会改你的默认值。你处理「不用管」的通知的次数越多,你处理真事的速度就越慢。

所以问题不是通知太多。问题是,我在发每一条通知的时候,根本没想过它要让人干什么。

一条通知只该干一件事:让人做决定

我现在给每条通知过一道筛子,三个问题:

  1. 谁要看?—— 具体到一个人。发给一群人的通知,等于发给没人。
  2. 现在看有用吗?—— 如果是「今天知道了会调整今天安排」,那它属于明天早上;如果是「下周复盘时有用」,那它不属于通知。
  3. 看完做什么?—— 答不上来的,那不是通知,是日志。

三个里缺任何一个,就不该进手机。这句话我写下来贴在运维笔记第一行,因为它纠正了我过去的一个毛病:我经常把「我干了什么」当成通知,而人要看的是「你需要干什么」。

我把告警分了三层

分层的原则很简单:能不能等到明天,决定它走哪条路。

层级什么进这一层走哪例子
立刻需要人做决定,且过时就亏手机推送额度/余额破线、站点 5xx、定时任务连续失败
今天知道了会调整今天的安排早上一次汇总昨天花了多少、稿子发没发出去、磁盘到 78%
备查出事才翻日志文件每次成功、每步耗时、原始输出

还有一条配套规矩:只能往下调,不能往上加。 一件新事想进「立刻」这一层,得先证明它满足上面那三个问题。不证明,默认进「备查」。

这条规矩拦住过我至少三次冲动——每次都是我想「这个也挺重要」,然后发现它其实「挺重要但不用现在知道」。

最值钱的一条:成功不报

自动化里最容易犯的错,是把「成功」也变成一条推送。

理由听上去很合理:我想知道它真的跑了。但你想想,一天 20 条「成功」意味着什么?意味着你一天里要划掉 20 次。划到第 15 次,你的手指已经开始不看内容了。从那一刻起,所有的通知都变成了背景噪音,包括出事的那条。

所以我的做法是:只在「状态变化」的时候说话。

  • 从正常变异常 → 推一条,说清哪件事、什么现象、可以点什么。
  • 一直在异常 → 合并,第一次推,之后每半小时一次,不要每秒推。
  • 从异常回到正常 → 推一条「已恢复」,带上持续了多久。

第三条最容易被忽略,但它特别重要。没有「解除」的通知,你永远不知道那件事还在不在。 我吃过这个亏:一台机器的磁盘告警处理完了,没推恢复消息,我那一整天心里都挂着一根线,中间还专门去看了一次。

阈值要设在「还来得及」的位置

我的磁盘告警线不是 90%,是 78%。

90% 的告警的意思是:告诉你「已经快满了,现在开始慌」。78% 的意思是:告诉你「今天下午顺手清一下就行」。

同一件事,同一个数字,差别在它还留给你多少动作空间。告警的价值不是准确,是及时——准确但来不及的告警,只能用来写复盘,不能用来止损。

我现在的习惯是:每设一个阈值,先问一句「看到这条的时候,我还来得及做什么」。答不上来,就把线往前挪。

三个我踩过的坑

坑一:通知里塞原始数据。 第一版脚本推过来的消息带了两百行输出。我当时还挺得意,觉得信息全。实际结果是:我看到通知,还是得打开电脑,一行一行读。等于没通知。现在通知里只有一句结论 + 一个路径。

坑二:一条通知塞三件事。 三件事的结果是,三件都不做。人处理通知的心理预算是「一件事」,超了就会整体推迟。现在我的硬规矩是:一条一个动作。

坑三:只报异常不报范围。 「有任务失败」这句话没信息量——是哪个任务、失败了多久、影响谁。补上这三样,我才能决定要不要现在动手。

一周做一次减法

这套东西不是一次设计完的,是每周减出来的。方法很土,但有效:

  1. 把这周收到的所有推送拉出来,一条一条看。
  2. 给每条标一个「我当时干了什么」:做了动作 / 只是看了看 / 直接划掉。
  3. 「直接划掉」的,删掉,或者降到「备查」。
  4. 「只是看了看」的,试着合并进早上的汇总。
  5. 算一下处理率:做了动作的条数 ÷ 总条数。低于一半,说明你不是在发通知,是在给自己发日志。

我上周的处理率是 6%。这个数字不好看,但它很诚实——它告诉我,我还有 94% 的话是白说的。

最后

自动化做到后面会发现,难的不是让机器干活,是让机器少说话。

一个只在需要你的时候才响的系统,才配叫「可信」。一个什么都说、什么都报的系统,本质上是把判断的责任又推回给了你——只不过换了个更吵的方式。

我现在的目标不是让通知变少。是让每一条通知,都值得我放下手里的活。

留言板

0 条留言
还没有留言,沙发给你留着~ 有什么想说的,尽管敲在下面。

写点留言

正在回复

文明发言,友好交流。