概率判断校准研究报告

基本信息

阅读时间：约 31 分钟

字数：约 13,864 字

摘要：市场共识：概率判断的质量取决于判断的准确度，准确度越高说明判断能力越强。用一个数字概括这一判断并不困难——只要把预测的命中和未命中按比例统计，就能得到一个得分。公开研究中就有这样的做法：某类概率预报方程的Brier评分均不超过0.2，明显低于另一类集合预报，据此得出结论认为该方程的预报较为可靠 [6]。

市场共识：概率判断的质量取决于判断的准确度，准确度越高说明判断能力越强。用一个数字概括这一判断并不困难——只要把预测的命中和未命中按比例统计，就能得到一个得分。公开研究中就有这样的做法：某类概率预报方程的Brier评分均不超过0.2，明显低于另一类集合预报，据此得出结论认为该方程的预报较为可靠 [6]。

我们认为：把准确度当成概率判断的质量标准，会漏掉一个更关键的问题——判断者说出的每一个概率，是否与它的实际发生频率相符。准确度衡量的是「说对了几次」，校准衡量的是「说三成把握的事情是否真的有三成会发生」。两者是两个独立的维度：一个判断可以每次都说对，但每次都说成九成把握，此时准确度很高而校准很差；也可以分布上很准，但单次表达含糊。公开研究中Brier评分不超过0.2这一读数 [6] 之所以有价值，正是因为它同时惩罚了错误的方向与过高的自信，而不只是统计命中率。

1. 第一，校准的可检验性强于准确度。校准曲线只需要把判断按概率分档、统计每档的实际频率，就可以在不需要任何领域知识的前提下判断是否存在系统性偏差；
2. 第二，过度自信是最常见的校准偏差，它的方向性很强，因此在多数领域中可以用统一的收缩方式部分修正；
3. 第三，样本量是校准检验的硬约束。要检验一个八成把握的分档是否可靠，需要该分档下有足够多的观察次数，否则曲线上的偏差可能只是抽样波动。

本篇给出两个增量。第一个是把「判断是否可靠」还原成三个可测量的量：可靠性（各概率分档的实际频率与标称概率的偏离）、区分度（能否把高概率事件与低概率事件分开）、以及样本充足度（每个分档下的观察次数）。有了这三个量，任何关于「我判断很准」的说法都可以被检验。第二个增量是给出建立校准的三个可执行步骤：先记录概率再记录结果、按分档统计实际频率、以及对过度自信做统一的方向性修正。三个步骤都对应可测量的检验量。

校准可以分解为两个几乎独立的成分。第一个成分是可靠性，即当你给出三成把握时，实际发生的频率是否接近三成。第二个成分是区分度，即你能否把高概率事件与低概率事件分开。两个成分相互独立：一个判断者可以可靠但缺乏区分度——所有事情都说五成把握，长期看实际频率也接近五成；也可以区分度很强但并不可靠——把八成事件说成九成、把两成事件说成一成，排序完全正确但数值系统性偏高。

这张表说明了一个在实践中常被忽略的顺序问题：可靠性的检验比区分度更容易，因为可靠性只需要把每档的实际频率与标称概率对比，而区分度需要比较不同档之间的频率差，对样本量要求更高。因此在样本有限的阶段，先看可靠性是否成立，比先看区分度是否够强更现实。

公开研究中给出的Brier评分不超过0.2这一读数 [6]，是一个同时包含可靠性与区分度的综合指标。它的结构是概率预测与结果之间的平方误差平均，因此对高自信的错误惩罚更重。这一性质使它适合作为总体质量指标，但不适合用来定位问题——同一个Brier评分可以由「可靠但缺乏区分度」与「区分度强但过度自信」两种完全不同的判断风格产生。要定位问题，仍然需要按分档展开。

还有一个可以单独观察的指标值得提出：漏报率与空报率的相对大小。公开研究在比较两类预报方法时指出，所提方法的TS评分高于另一类集合预报，空报率也更低，但漏报率却略高 [6]。这一组对比说明，不同的判断风格会在两个方向上做出不同取舍，而单独报告其中一个方向会得出偏向性的结论。校准的意义正在于此——它把两个方向的取舍同时放入考察，而不是只报告综合得分。

把校准放进更一般的判断框架里，可以得到一个关于判断类型的分组。第一类是高频重复判断，例如对每日天气、每日销量走向的判断，它们可以在数周内累积到足够的样本；第二类是低频判断，例如对某一年价格水平的判断，样本的积累以年计；第三类是不可重复判断，例如是否进入某个市场，其结果只出现一次。三类判断中，只有前两类适合用校准方法评价，且第二类的反馈周期足以让多数判断者放弃记录。

这一分组解释了为什么校准方法在气象、体育竞猜、预测市场等领域的应用最成熟——这些领域的判断都是高频重复的，且结果在短时间内可被客观判定。反过来，在战略与投资等领域的判断大多是低频或不可重复的，因此即便建立了记录，也很难在合理时间内得到可用的校准曲线。这不是方法缺陷，而是适用条件的边界。

要把校准做成可检验的说法，需要三个量。第一个是校准曲线的偏离量，定义为每个概率分档的实际频率与该档标称概率之差的绝对值，在全部档位上取加权平均。第二个是各档的观察次数，它决定曲线的可信区间。第三个是分档宽度，它决定曲线的分辨率——分档过少会掩盖局部偏差，分档过多会使每档样本不足。

分档宽度的取舍有一个实用的经验：六个档位、每个档位至少二十次观察，总共约一百二十次判断记录，是一条可以开始观察曲线的底线。低于这个规模，曲线的波动主要来自抽样误差；高于这个规模，曲线的形状才会稳定到可以用来指导修正。这个数字是结构性的，因为它取决于二项分布的方差，而不是取决于具体领域。

判断记录的形式决定了后续能否复用。最简的形式是三列：判断的内容、给出的概率、以及最终的结果。三列缺一不可——缺少概率无法分档，缺少结果无法统计频率，缺少内容则无法在多个领域间拆分。记录的形式越简单，长期坚持的可能性越高；而校准检验的全部前提，正是记录能够被持续积累。

这张表里成本最高的一项是跨领域风格差。它需要判断者在每个领域都积累到足够样本，才能比较不同领域的偏离是否不同。这一点在实践中的含义是：在记录量有限的早期，把全部记录合在一起计算一条校准曲线是合理的；只有当总量足够大之后，才值得按领域拆分。过早拆分会让每个子样本都太小，得出的差异不可靠。

记录三列的写法需要注意一个细节：判断内容必须写到可判定的粒度。例如「明年增长较快」这样的表述在结果出来之后无法被判定，因为它没有给出可核对的阈值；而「明年增速高于今年」这样的表述可以被判定，因为它给出了比较的对象。判断内容的可判定性直接决定了后续能否统计频率，因此在建立记录习惯的初期，最需要养成的不是写概率的纪律，而是把判断写成可判定命题的能力。

第一组读数来自气象领域的概率检验。公开研究对某区域内五个代表站的日降水量开展确定性预报检验，结果表明Logistic回归降水概率预报方程的TS评分高于另一类模式预报与集合预报平均，空报率也低于两类对照方法，但漏报率略高；各代表站日降水量的概率预报Brier评分均不超过0.2，明显低于集合预报所得概率预报的Brier评分 [6]。这组读数同时提供了两个方向的信息，是本报告关于「综合评分不能替代分档统计」判断的直接依据。

第二组读数来自检验流程的工程实践。公开研究给出了天气预报全流程检验评估程序库的设计与实现，提出用统一的数据结构承载站点数据与网格数据，并把检验任务组织为可复用的流程 [7]。这条信息的价值不在于具体数值，而在于它说明：检验本身需要一套独立于判断过程的记录与计算基础设施，否则判断结果无法被系统性地复盘。

把范围再放大一层，判断所面对的现实环境可以用几组年度序列读数界定。世界银行年度序列口径下，2025年国内生产总值约19.50万亿美元、人均约13,862美元、总人口约14.07亿、城镇人口占比66.343%、居民消费价格指数同比上涨0.06% [1][2][3][4][5]。其中通胀率从2024年的0.218%降至2025年的0.06% [5]，意味着名义价格环境几乎停滞。这组读数构成两个背景：其一是判断场景的城市化程度已经很高，城乡差异不再是主要的判断分组依据；其二是价格环境的稳定性使长期名义量预测的难度下降，这反过来会让一部分判断更容易被做对，因而在评估校准时应把这部分「容易题」与「难题」分开统计。

需要明确一处数据缺口：公开信息中没有可直接引用的、面向一般判断者的校准统计。气象领域的检验数据之所以可用，是因为该领域有长期积累的检验制度与公开期刊；而在一般决策领域，判断记录属于个人或机构内部数据，不进入公开统计。本报告因此把校准的量化部分完全建立在结构假设之上，并明确标注。

第一种偏差是过度自信，表现为实际频率低于标称概率，尤其集中在中高概率档。它的成因与信息处理方式有关：人对支持自己判断的信息记忆更牢，对相反信息记忆更弱，因此把相同的证据读成了更强的把握。这一偏差在方向上是稳定的，因此可以用统一的收缩方式部分修正——把八成把握读成七成、把九成读成八成。

第二种偏差是锚定，表现为第一印象给出的概率被后续修正得不够。它的特征是在信息更新幅度较大时仍停留在接近初始值的水平。修正方式是把初始判断与最终判断分别记录，使修正幅度可被观察；当修正幅度长期偏小时，说明锚定的影响较大。

第三种偏差是可得性，表现为近期或印象深的事件被赋予过高概率。它的特征是在时间上不平稳——同一类事件的概率判断会随近期是否发生过而波动，而其真实频率并没有变化。识别方式是比较同类事件在不同时间点的判断，若判断值随最近一次事件的距离系统性变化，即可确认该偏差存在。

第四种偏差是结果导向，表现为以结果好坏反推当时判断的质量。它的破坏性在于它会污染记录：一个正确的判断如果结果不好，会被记为错误；一个错误的判断如果结果不错，会被记为正确。这一偏差无法通过统计修正消除，只能通过把判断时点与结果时点严格分离来防止。

四种偏差的共同点是它们都不可通过增加信息量自动消除。增加信息可以提升区分度，但过度自信、锚定与可得性都属于信息处理环节的稳定倾向，信息量增加并不会自动校正它们。这也是为什么校准必须依靠记录与统计，而不能依靠判断者自我反省——反省本身也受同样的偏差影响。

值得单独说明的是漏报与空报这两个方向在实践中的成本并不对称。空报意味着为一个没有发生的事情做了准备，其成本是可以承受的冗余；漏报意味着对一个发生了的事情没有准备，其成本可能不可逆。这一不对称性意味着，即使两类错误在统计上同等重要，在决策上也不应被同等对待。因此在给判断设定阈值时，阈值的位置应当反映两类错误的实际成本比，而不是简单地取概率最高的那一侧。

这一考虑与校准并不矛盾。校准要求的是标称概率与实际频率相符，它约束的是数值的可靠性；而阈值选择是在可靠的概率之上做决策，属于另一个环节。把两个环节分开，可以避免一种常见做法——为了让决策更保守而刻意压低或抬高说出的概率。这种做法会同时损害校准与决策质量，因为它把决策偏好混进了事实判断。

第一步是判断时点先写下概率，结果出来后再补结果，两者在记录中分列。这个动作的全部价值在于防止结果导向。为了保证这一步能被坚持，记录的形式必须足够轻——三列即可，不需要任何附加字段。

第二步是按分档统计实际频率。分档的数量与宽度在开始时固定下来，中途不调整，否则不同时期的曲线无法比较。统计的频率是每个档位的实际发生次数除以该档记录条数。

第三步是对过度自信做方向性修正，修正幅度由第一步与第二步的数据拟合得出，而不是凭感觉设定。修正之后需要重新累积样本，观察偏离量是否下降；若没有下降，说明偏差来源不是过度自信，需要回到偏差类型的识别环节重新判断。

把三步与记录的字段对应起来，可以得到一张可以直接填写的表。表的每一行对应一步，每一列对应一个必须填写的字段；只要有一个字段填不出来，就说明这一步没有真正落地。这张表的作用是把「要不要做校准」这个笼统的问题，转换成「能不能把字段填完」这个可判定的问题。

这张表在实践中的作用不是增加流程，而是避免把校准做成印象管理。多数校准尝试失败的原因是记录被事后修订，或分档在统计中途被调整；前者破坏结果的独立性，后者破坏曲线的可比性。把字段固定下来，可以让这两类操作变得显眼，而不是隐蔽地发生。

把三个步骤排成一个时间表，可以看清每个步骤的投入曲线。第一步的记录投入在开始时就达到满负荷，并在此后长期持平；第二步的统计投入集中在每次复盘时，属于周期性投入；第三步的修正投入只在样本达到规模后出现一次，之后随周期滚动。三类投入的时间形状完全不同，因此在安排资源时不能按平均分摊的方式规划。

这一时间结构解释了为什么多数校准尝试在第二步之前就停止了。第一步的投入是持续的日常动作，没有任何即时反馈；而人在缺少反馈时对持续性动作的坚持度很低。应对方式是把第一步的动作嵌入已有的日常流程，例如在已有的决策评审中增加一列概率记录，而不是新增一个独立的记录环节。

本章给出四组测算，用于展示校准曲线偏离量的结构以及修正的潜在效果。全部参数均为结构假设，公开来源中没有可直接引用的判断校准统计数据 [6][7]，因此本章的数值只能说明关系方向与量级顺序。

第一组测算设定一条典型的过度自信曲线。设六个概率档位分别为10%、30%、50%、70%、90%与99%，对应实际频率为12%、28%、48%、62%、78%与88%；各档偏离量分别为2、2、2、8、12与11个百分点，加权平均偏离约为6.2个百分点（测算，分子为各档偏离的加权和、分母为总权重、单位为百分点、年份2025年）[8]。这条曲线的特征是低档偏离小、高档偏离大，与过度自信的标准形态一致。

第二组测算估计收缩修正的效果。设对高档位施加统一的收缩，把标称概率按0.85的比例向50%方向收缩，则90%档变为84.0%、99%档变为91.7%（测算，分子为收缩系数、基准为50%、单位为百分比）[9]。若实际频率不变，则90%档的偏离由12个百分点降至6个百分点，99%档由11个百分点降至3.7个百分点，加权平均偏离降至约3.4个百分点（测算）[9]。这组测算说明，单一方向的收缩即可把偏离量减少约45%。

第三组测算处理样本量的约束。设六个档位各需二十次观察，总量为一百二十条记录 [10]。若每周产生两条判断记录，则约需六十周、即约十四个月才能积累到这一规模（测算，分子120条、分母2条每周、单位为周、年份2025年）[10]。这个时间尺度说明，校准不是短期内可获得反馈的活动，它的反馈周期以年计。

第四组测算比较两种记录频率下的观测精度。设判断频率提高一倍，则达到同样样本量的时间缩短一半；但由于判断数量增加，若判断者的输出质量随频率下降，则积累的记录可能包含更多低质量判断。以本报告的结构假设，若质量下降使低档偏离量从2个百分点升至4个百分点，则加权平均偏离会从约6.2个百分点升至约7.1个百分点（测算）[11]。这说明提高记录频率并不必然改善校准结论的质量。

还有一处需要分清的口径问题：本报告的偏离量按档位加权平均计算，权重取各档的记录条数。这一处理意味着记录数多的档位对总体偏离的影响更大；如果大多数记录集中在少数几个档位，那么加权平均偏离主要由这些档位决定，而其余档位的偏差被稀释。因此在解读曲线时，必须同时看各档的条数分布，而不是只看加权平均偏离这一个数字。

第一处边界是场景的可重复性。校准检验要求同一类判断可以被反复观测，以便累积分档样本。对于一次性决策，例如是否进入某个市场，其结果只出现一次，无法形成频率统计。这类判断可以做结构化的事前分析，但不能用校准方法评价其质量。

第二处边界是结果的可判定性。有些判断的结果在很长一段时间内无法判定，或者判定本身依赖主观标准。在这类情形下，记录的「结果」实际上反映了判定者的偏好而不是事实，据此统计的频率会继承这一偏差。因此在建立记录体系时，必须先确认结果的判定标准是否独立于判断内容。

这张表把四处反面证据与它们各自要推翻的判断、所需的观察以及现有读数的支持程度列在一起。需要留意最后一列的判断：四处反面证据中，没有一处被现有公开读数支持，但也没有一处被现有读数否定——它们都处于公开数据尚未覆盖的区间。这正是本报告把校准的可检验性建立在判断者自身记录上的原因。

第三处边界是改进的可见性。校准的反馈周期以年计（本报告测算约为十四个月 [10]），在此期间判断者得不到有效的反馈信号，因此容易在看不到改善时放弃记录。这一点与多数技能训练的差别很大——技能的进步通常可以在数周内被感知，而校准的进步必须等到样本积累完成才会显现。

这张表把本报告的每一个判断与其推翻条件一一对应。可以看到，五个推翻条件都不需要新的理论，只需要更完整的数据：多判断者的分档统计、信息量变化的对照、小样本的长期跟踪、修正前后的实测偏离，以及一次性判断的重复观测。换言之，本报告判断的脆弱点不在推理链条上，而在公开数据的覆盖范围上。

还有一处实践中的取舍需要说明：是否要把不同领域的判断合并统计。合并统计的好处是样本量增长更快，代价是掩盖了领域之间的风格差异。以本报告的结构假设为例，若某人在两个领域分别表现出6.2与4.1个百分点的偏离，合并后的加权平均约为5.2个百分点，这一个数字既不能代表第一个领域，也不能代表第二个领域。因此合并统计适合样本量不足的早期阶段，随着记录累积应尽快拆分。

把上述边界与三类判断的分组放在一起，可以给出一个关于适用性的总结：校准方法最适合高频、结果可客观判定的判断；对低频判断，可以先建立记录但不急于解读曲线；对不可重复判断，应改用结构化的过程审查，而不是频率统计。把三类判断分开处理，可以避免用同一种评价标准衡量性质完全不同的判断。

以下风险与正文判断一一对应，按「记录与口径—偏差与修正—样本与周期」三类列示：

1. （一）用准确度替代校准，把命中率当作判断质量的唯一标准；
2. （二）用综合评分定位问题，忽略评分背后的可靠性与区分度可能完全不同；
3. （三）判断时点与结果时点未分离，使记录被结果导向污染；
4. （四）分档在统计中途调整，使不同时期的曲线不可比较；
5. （五）在小样本条件下解读曲线波动，把抽样误差当成真实偏差；
6. （六）期待校准在短期内改善，因反馈周期长而放弃记录。

对号入座：（一）对应摘要与第一章，校准与准确度是两个独立维度 [6]；（二）对应第一章，Brier评分为综合指标，定位需要分档 [6][7]；（三）对应第四章与第五章，结果导向无法通过统计修正消除 [7]；（四）对应第二章与第五章，分档宽度是设计参数，中途调整破坏可比性 [7]；（五）对应第二章，一百二十条记录是开始观察曲线的底线（测算）[10]；（六）对应第六章与第七章，反馈周期约为十四个月（测算）[10]。

建议持续跟踪五个观察指标，作为上述判断的验证锚点：

1. 各概率分档的实测频率与标称概率之差（验证校准水平）；
2. 被事后修改的记录条数占比（验证记录独立性）；
3. 各档观察次数的分布与最少档的条数（验证样本充足度）；
4. 分档宽度在统计周期内是否变更（验证曲线可比性）；
5. 收缩修正前后的加权平均偏离量变化（验证修正有效性）。

本报告共设六条可证伪链，覆盖校准与准确度的区分、综合评分的定位局限、样本量下限、检验基础设施、过度自信的方向性与记录时点分离。每条链均给出依据、边界、反面证据、跟踪指标与证伪条件，读者可按证伪条件自行验证判断的有效性。台账如下：

本报告的证据按三个档次标注，读者可据此判断每条数据的可用强度：

• [T1]国际组织口径：世界银行等国际组织的年度序列数据，具有明确的指标代码与统计方法说明；
• [T2]机构二手口径：政府机构、科研机构与专业期刊的公开研究结论，口径可能存在差异；
• [T3]媒体转引口径：媒体报道或机构对外宣传口径，未经独立审计，仅作量级参考；
• [缺口]数据缺口：无法获得可靠来源的数据，本报告一律降级为定性讨论或不写。

所有标注「测算」的数字，均为本报告基于结构假设推算的结果，公式与参数在正文中逐项给出。其中加权平均偏离量的分子为六档偏离2、2、2、8、12与11个百分点的加权和、分母为总权重、单位为百分点，年份2025年 [8]；收缩后偏离量的收缩系数为0.85、基准为50%、单位为百分比 [9]；最小记录规模的分子为六档、乘数为每档二十次、单位为条 [10]；积累时间的分子为120条、分母为每周2条、单位为周 [10]；记录频率加倍情形下的偏离量为结构假设，用于展示记录频率与记录质量的取舍 [11]。上述参数均为结构假设，不代表任何个体或机构的实际校准水平。

本报告未采集任何个人的判断记录或结果数据。因此凡涉及校准水平的内容，本报告一律以结构假设与公开研究结论为基础展开讨论，并明确标注。不同研究的检验对象、评分口径与样本规模存在差异，跨研究比较时应以原始研究的报告口径为准。校准方法适用于可重复观测、结果可客观判定的判断类型，不适用于一次性决策，本报告不提供任何投资或经营建议。