基本信息
阅读时间:约 13 分钟
字数:约 5302 字
摘要:三套方案摆上评审会,先进度最容易被看见,退路和运维成本却最容易缺席。用「双账本评审法」把回滚与运维折成可比较的小时数,再标出翻转点。
全文语音
中文
English
日本語
한국어
专业分析:三套方案摆上桌,先算「退得回来」和「养得起」
三月的一个周三下午,杭州下着小雨,会议室 B 的玻璃上蒙了一层雾。老盛站在白板前,用红笔写下 A、B、C 三个字母,笔尖在 A 上顿了一下:「三套方案,今天必须定一套。」他是我们组的产品负责人,三十六岁,做跨境电商 SaaS 第九年。白板上 A 是「单体加消息队列」,B 是「拆成四个微服务」,C 是「买一套托管的消息与工作流平台」。三份材料加起来一百二十页,没有一页写「怎么退」。

先给量级。DORA(DevOps 研究与评估机构)历年《Accelerate State of DevOps》报告给出的量级是:高绩效团队的变更失败率约百分之五,低绩效团队在百分之四十到六十之间。也就是说,出事不是意外,是概率。Gartner 长期引用的另一个量级是,企业 IT 预算里约百分之六十五到七十花在「维持运行」,只有三成左右用于新增能力。Google 的 SRE 工作手册则给过一条更锋利的线:运维琐事(toil)应压在工程师工作时间的百分之五十以内,越过这条线,说明系统在拿人的时间补设计欠的债。

三个数字指向同一件事:方案的价值不在上线那天有多快,而在上线之后的每一天要花多少。所以我把评审的账本从五本砍到两本,起名叫「双账本评审法」。第一本是回滚账:这套方案如果必须退,退到哪、退多细、谁来按、退多久。第二本是运维账:这套方案落地之后,迁移、培训、值班、告警、容量、依赖各要吃掉多少工时。四步走完:锁题、记回滚账、记运维账、结算并标出翻转点。

对照来看,「只比先进度」的评审关心吞吐、架构是否优雅、社区是否活跃;「双账本」的评审关心退路是否可执行、年运维人时是否付得起。前者评的是方案的上限,后者评的是方案的地板。评审会真正要防的,不是选到不够先进的那套,而是选到一套退不回来、也养不起的那套。
真实可辨识的案例是二〇一七年二月二十八日的亚马逊 S3 美东一区故障。工程师在排查计费子系统时输错一条命令,移除了超出预期的服务器,索引与存储子系统大面积不可用,前后持续约四小时。AWS 官方事后报告写得很清楚:恢复慢的一部分原因,是重启本身要等索引重建,而当时用于操作的控制台又依赖 S3 自身。二〇二一年十月 Facebook 那次约六小时的全球中断同理——内部工具断在同一个网络上,工程师最后是靠进机房才恢复的。两次事故的共同点不是「技术不行」,而是「回滚通道没有独立于被测系统」。
可落地的度量有三个:回滚当量 RE(小时每年)、运维当量 OE(人时每年)、三年回滚运维当量 3Y-ROE。执行清单五条:一、每套方案由提出人自己填回滚四行,不许代填;二、回滚耗时必须是演练过的中位数,不是估算;三、运维六项逐项折人时,写清「谁来做、做多久」;四、三年总账同口径相加,标出翻转点;五、结论连同假设一起写进决策记录,约定复评时间。
为什么「最先进」那套总在评审会上赢
那天阿唐讲 B 方案。他三十一岁,是我们组最年轻的架构师,材料做到第四十页:吞吐翻倍、故障隔离、独立扩缩容,每一页都配了图。讲到第十一分钟,会议室里有四个人在点头。我注意到,白板上 A 那一列只写了三行字,C 那一列写了五行,而 B 那一列写了整整一屏。

这不是谁的错,是注意力的结构问题。先进度可以演示:压测曲线、架构图、并发数,都是能被看见的东西。回滚和运维没法演示:它们是「不出事的时候不存在的成本」,是凌晨两点的一通电话,是三个月后某个只有一个人会的操作。看不见的成本,在会议里天然吃亏。

「新」还自带一层光环。新组件默认被假设为更好,旧系统的运维成本则被当成沉没成本,不在会上出现。于是同一张桌子上,新方案的代价被折叠,旧方案的代价被展开,比较从一开始就不公平。这不是技术判断,是叙述顺序。

更关键的是,供应商的演示永远只演成功路径。没有一场演示会演「现在我要把它退回去」。等真到了要退的那天,你才发现退的按钮在一个你不熟悉的菜单里,或者根本没有这个按钮。方案文档里那页「容灾设计」,通常只有一张箭头图。
还有一个更隐蔽的原因,是会上说话的顺序。提出方案的人通常也是准备最充分的人,他先讲、讲得久、答得细;运维往往最后被点名,只剩五分钟,只能提两个隐患,然后被一句「这些上线前都能解决」带过去。谁准备得多,谁的方案就显得更可行,这跟方案本身几乎无关,只跟议程有关。
我在会上只问了一句:「这套如果周五上线,周一早上八点要退,谁按、按哪个、按下去多久能回来?」会议室安静了大概七秒。阿唐说:「这个……我们下周补一页。」老盛把红笔放下了。那七秒,比前面四十分钟都有用。
回滚账:把「能不能退」写成可核对的四行字
回滚不是「有备份就行」。备份解决的是数据丢没丢,回滚解决的是业务什么时候能重新对外。这两件事经常被混着说,然后在事故里一起失效。我要求每套方案只写四行,写在半页纸上,写不下说明还没想清楚。

第一行是回滚点:能退到哪个版本、哪个数据时点。难点几乎永远在数据库:加字段能退,删字段退不了;改类型能退,改语义退不了。所以这行必须写清「本次变更里哪一步是不可逆的」,而不是笼统写「有备份」。

第二行是回滚粒度:整服务回、单租户回、还是只能整站回。粒度越粗,代价越大。B 方案拆分之后看着先进,但四个服务共享一套数据,实际只有「整站回」这一种粒度,等于把回滚粒度做粗了。这是那天最反直觉的一个发现。

第三行是触发条件:谁有权按、按之前要不要审批、按错了怎么撤。事故里最贵的不是技术动作,是「等人决定」。我们后来把权限直接给到值班的人,条件是先按再报,事后复盘不追责,只追流程。
第四行是回滚耗时:必须实测。没演练过的耗时一律按「未知」处理,不能按估算写。演练三次就取三次的中位数,写进方案里,和吞吐数字放在同一页。同一页上的两个数,才有可比性。
回滚当量:用一个数把「万一出事」折成年成本
四行写完,还是没法横向比。于是我把它们折成一个数:回滚当量 RE 等于单次回滚耗时(小时)乘年预计回滚次数,再乘影响面系数。单位是小时每年,含义是「这套方案一年要从你和你的用户身上拿走多少小时」。

拿那天三套方案套一遍:A 单次回滚半小时、一年约六次、只影响单个模块,系数一点零,RE 约三小时;B 单次回滚三小时、一年约六次、跨服务,系数一点五,RE 约二十七小时;C 单次回滚一点二小时、一年约八次(托管平台有强制升级窗口)、系数一点二,RE 约十一点五小时。三个数一摆出来,先进度那套的账立刻不占优。

影响面系数不能都按一点零。我的经验值是:只影响内部或单模块记一点零,跨两个以上服务或需要切流记一点五,影响付费客户或需要对外公告记二点零。系数是主观的,但必须写出来;写出来才能被质疑,被质疑才能被修正。
再算一个比例:RE 除以团队一年可用工时。一个八人小组按每人每年一千六百小时算,可用工时约一万二千八百小时;RE 超过百分之五,也就是六百四十小时,说明这套方案光「退」这一件事,就在吃掉半个多月的人力。
小季是运维负责人,三十三岁,那天散会时跟我说了一句话:「你们算的是上线那天,我们算的是上线之后每一个凌晨。」这句话我记了很久,后来把它写进了评审模板的第一行。
运维账:六项隐性工时比许可证贵
运维账最容易犯的错,是只算许可证和云账单。这两项恰恰最好算,也最不容易出错;真正会把项目拖垮的,是后面六项不出现在报价单上的工时。报价单只写「买什么」,不写「买完之后谁伺候」。

第一项迁移:数据搬迁、双写校验、切流窗口,每一项都是人时。B 方案的数据搬迁我们当时估四十人时,实际做了一百一十人时,多出来的七成耗在双写期间的一次口径不一致上——两个系统对「已支付」的定义不同,对了一整天才对上。

第二项值班与告警:新增组件等于新增告警源。告警要人盯,误报会训练出「看见告警先放一放」的习惯,这比没有告警更危险。我们后来按「每周新增告警条数」记账,超过二十条就要重新配阈值,而不是加人。
第三项培训与知识集中:一套组件只有一个人会,就是单点。评估时我会问「除了他还有谁能操作」,答案少于两人,这项就按风险计,不按工时分。因为它的代价不是时间,是某一天他休假。
第四项容量、第五项依赖、第六项升级:闲置容量要钱,依赖组件的生命周期要跟,版本升级要窗口。C 方案最容易被忽略的是升级窗口——托管平台每季度一次强制升级,每次都要有人守两小时,一年八小时,正好对上它那八次回滚机会。
运维当量:三年总账与翻转点
运维六项逐项折成人时,加起来就是运维当量 OE。再把三年加总:3Y-ROE 等于首次回滚代价,加年回滚当量乘三,加年运维当量乘三。这个式子很粗糙,但好处是同口径、可复算、能当面吵起来。

三套方案算下来:A 约六百四十人时,B 约两千一百八十人时,C 约一千四百五十人时。看着 B 最贵,但 B 的单次发布窗口比 A 短三分之二,一年六十次发布能省下的等待时间又补回来一部分。账要算全,不能只算一边。

比数字更重要的是翻转点:在什么条件下,我会改主意。日订单破八万,A 的耦合会先崩;合规要求变化,C 的托管可能过不了数据落地审查;团队从八人缩到三人,B 的运维账会从两千多涨到三千以上。这些条件写进结论里,决策才不是一次性的。
还有一笔账最容易被摊掉:一次性的建设投入不能混进运维账。建设是一次性支出,运维是每年都要付的租。把两者相加,会让「重建设、轻运维」的方案显得便宜,因为它把钱花在了能被看见的那一年,把成本推到了看不见的每一年。分开记,才知道哪一笔是一次疼,哪一笔是长期疼。
我们最后选的是 A 加一条异步通道,也就是给 A 补一小块 B 的能力。这个结论不是算出来的最优解,是「三年账最平、翻转点最晚到」的那一个。老盛在季度复盘时说:「我们不是选错了方向,是当年没算清退路。」
三套方案怎么摆:一页纸的可比格式
三套方案不要交三份材料。三份材料会逼着大家在不同结构里比较,比到最后只能比谁的图好看。我把它们压成一页纸,三列并排,行是固定的,行头不许改。

行头固定六组:边界假设、回滚点、回滚粒度与触发、回滚耗时、运维六项、三年总账。最后一行留「否决理由」,写清楚这套方案在哪一行上不合格。一页能装下,装不下就说明还没想清楚。

谁填也很重要。回滚四行必须由方案提出人自己填,不许让运维代填;依赖与升级由架构师填;值班与告警由运维填。不填的人没有资格在会上说「这套更好」,因为他说的是感觉,不是账。
评审会只做三件事:核假设,看三套方案的流量、数据量、合规要求是不是同一套;找断点,看哪一步不可逆;定翻转点,看什么条件下改主意。这三件事做完,会就散了,不投票。
那天我们那页纸最后是这样摆的:A 列最下面写「不可逆:无」;B 列写「不可逆:数据搬迁切流」;C 列写「不可逆:平台版本跟随」。三行字写在纸的最下方,比一百二十页材料更能决定选哪套。
评审会现场:五个提问与三条否决线
有了那一页纸,评审会的话术也变了。我不再问「你觉得哪套好」,只问五个固定问题,问完基本能看出这套方案有没有想过退路。问题固定,答案才有可比性;问题浮动,答案只会变成表态。

五个提问:一、回滚按钮在谁手里,他现在在不在线;二、这次变更里哪一步不可逆,为什么不能做成可逆;三、新增几条告警,谁盯,误报率多少;四、除了提出人还有谁能操作这套东西;五、三年后这套组件谁来升级,升级窗口多长。五个问题都答得出来,方案基本是能落地的。

三条否决线:回滚耗时超过一个发布窗口的,否;没有任何演练记录的,否;关键操作只有一个人会的,否。否决不等于否方案,是要求把账补上再来;补完账还能过,就说明它是真的能过。
会议记录只写四行:结论、假设、翻转点、复评时间。三个月后拿这四行对一次,比任何复盘模板都省事。我们组现在的记录里,最长的一行是「若日订单破八万,重算 B 方案」。
回到那个周三下午,最后定下来的是 A 加异步通道,散会时雨停了。老盛把白板擦到只剩一小块,写了四个字:先保退路。半年过去,我们退了三次,每次都在四十分钟内回来,最长的一次是一个支付通道的口径回滚。没人记得那天 PPT 第三十页画了什么。
常见问题
1.问:三套方案里有一套明显更先进,还要算这两本账吗?答:越先进越要算。先进度决定上限,回滚与运维决定你能不能在场上待满全场。真先进的那套,通常也能把账算平;算不平,说明它的先进还停在演示层,没落到可运维的层面。
2.问:回滚耗时怎么估才算数?答:只认演练数据。至少演练三次取中位数,把演练时间、参与人、失败原因一起记下来。没演练过就写「未知」,不要写「预计半小时」,那句话在事故里通常会变成四小时。
3.问:运维工时按人时算,会不会太粗?答:粗,但比不算强。人时是最小可比单位,同一套口径下三套方案的相对差距是可信的。真要精细,可以再拆成「谁做、一周几小时」,但别在评审会前夜才开始拆。
4.问:团队小,没人做演练怎么办?答:把演练缩到最小。选一个低峰窗口,用一套灰度租户,只演练「按下去能不能回来」这一个动作,两小时够。没时间做演练的团队,往往不是没时间,是没把回滚当成功能来做。
5.问:双账本会不会把评审会拖成算账会?答:会,如果每次从零开始算。所以第一次算完就固化成模板,之后每套方案只填数。我们现在的节奏是:提方案两天填表,评审会四十分钟,比原来的三小时还短。
图片来源:图1 susannp4 / Pixabay (CC0) · 图2 tphananh / Pixabay (CC0) · 图3 si_kor / Pixabay (CC0) · 图4 Stevebidmead / Pixabay (CC0) · 图5 ahmetyuksek / Pixabay (CC0) · 图6 xusenru / Pixabay (CC0) · 图7 pasja1000 / Pixabay (CC0) · 图8 Gruendercoach / Pixabay (CC0) · 图9 Archimar / Pixabay (CC0) · 图10 TomDansken / Pixabay (CC0) · 图11 Pexels / Pixabay (CC0) · 图12 Ri_Lens / Pixabay (CC0) · 图13 mattiaverga / Pixabay (CC0) · 图14 Pexels / Pixabay (CC0) · 图15 5598375 / Pixabay (CC0) · 图16 Berger-Team / Pixabay (CC0) · 图17 KELLEPICS / Pixabay (CC0) · 图18 xusenru / Pixabay (CC0)
本文为信息分享与方法论科普,不构成任何专业建议,请结合自身情况判断。
本文由 AI 生成,经人类主编终审。

评论(0)