开源与闭源模型能力差距研究报告

基本信息

阅读时间：约 26 分钟

字数：约 12,377 字

摘要：市场共识：开源模型与闭源模型的差距正在快速收敛，随着代际迭代，开源替代闭源只是时间问题。

市场共识：开源模型与闭源模型的差距正在快速收敛，随着代际迭代，开源替代闭源只是时间问题。

我们认为：差距并没有均匀收敛，而是在按任务类型分层。公开评测给出的判断是「基础能力国内模型进展显著、推理能力仍有差距、代码能力表现优异」[8]——这三句话描述的是三个不同方向，把它们合并成「差距在收敛」会丢掉最有价值的信息：哪些任务可以替代、哪些任务暂时不能。

1. 第一层是榜单结构。名次反映的是头部模型的相对位置，能回答「最好的一档是否有开源的」，但不能回答「差距有多大」。
2. 第二层是任务粒度。同一批模型在不同任务类型上的得分差异，往往大于不同模型在同一任务上的差异，这是替代决策真正的依据。
3. 第三层是可用性。一个模型能否替代另一个，取决于它在具体场景下的调用量、延迟要求与数据合规约束，与榜单得分只部分相关。

评测体系本身在快速扩张。截至 2026 年初，「方升」3.0 体系已涵盖基础属性、通用能力、任务能力、行业能力、未来高级智能能力五大层次，形成 780 多万条动态更新的测试数据 [8]。测试数据的规模决定了评测的分辨率：题集越大，越能把「能力差」从噪声中分离出来，也越容易暴露出过去被平均数掩盖的结构性差异。

能力分层不是评测的偶然结果，它有明确的技术来源。基础能力对应的是语言理解、知识回忆与常规问答，这类能力的提升主要依赖数据规模与预训练质量，而高质量公开语料对所有参与者都是可及的，因此差距容易被追平。

推理能力对应的是多步推导与中间过程的显式化。公开材料提到，2025 年基础模型与推理模型双线并进，技术迭代速度与能力跃升幅度均超预期 [7]。推理能力的训练依赖高质量推理轨迹数据，这类数据的构造成本高、可复用性低，且与具体任务分布强相关，因此领先者的优势更不容易被一次性抹平。

代码能力对应的是一类特殊任务：输入与输出都可自动验证。编译能否通过、测试能否跑通、单元测试是否覆盖，都可以用程序判定，不需要人工评分。这使得代码任务的数据飞轮转得比别处快——模型可以自己生成答案并自动筛选，训练效率因此显著高于依赖人工标注的任务。这类任务的差距收敛速度也相应更快，与公开评测给出的「代码能力表现优异」一致 [8]。

生态侧的变化为这条分层路径提供了支撑。公开材料指出，以开源开放为特征的新型智算生态正在加速形成，已涌现出开源框架、开源通信库、开源算子库、开放计算平台与开源互联协议等多层次成果 [7]。这些成果降低的不是训练门槛，而是部署与迭代门槛——训练一个前沿模型仍需要大规模算力，但把一个已有的开源模型跑起来、改起来、接进业务系统的成本已经大幅下降。这一点对替代决策的权重，高于榜单名次本身。

还有一层机制上的差别值得指出：开源模型的权重公开意味着下游可以自行做持续训练与领域适配，而闭源模型只能通过接口调用与提示工程来调整行为。对任务分布长期稳定的场景，这一差别不重要；但对任务分布会随业务变化而漂移的场景，能否自行继续训练直接决定模型的可用寿命。这也是评估替代时应当与榜单得分并列的一个维度，且它无法通过任何一次评测体现出来。

从生态角度看，开源基础设施的层次化是近几年最明显的变化。公开材料描述的成果涵盖开源框架、开源通信库、开源算子库、开放计算平台与开源互联协议 [7]，这五个层次分别对应训练框架、通信效率、算子性能、算力调度与跨平台互操作。层次越完整，单个团队需要自建的部分越少，模型从下载到跑通的路径也越短。这条路径的长度，而不是模型的得分，往往才是中小企业能否真正用上模型的决定因素。

需要区分「可获取」与「可维护」。开源模型降低了获取成本，但没有降低维护成本。推理服务的稳定性、版本升级带来的行为漂移、以及安全补丁的跟进，都需要持续投入人力。这部分支出在决策时经常被算进一次性成本，实际却更接近经常性支出。把它放在固定成本一侧时，临界调用量会向右移动，也就是说，自建的门槛比单纯按算力成本计算时更高。

度量能力差距，先要明确评测体系的分层逻辑。「方升」3.0 体系涵盖基础属性、通用能力、任务能力、行业能力与未来高级智能能力五大层次 [8]。这个分层顺序本身就是一个判断：从属性到能力、从通用到行业、从当下到未来，越靠后的层次越难标准化，也越难直接迁移到采购决策。

第二个口径问题是名次与差值的区别。公开评测给出的是名次，例如推理能力榜单第一名为 Gemini 3 Pro，OpenAI 的 GPT-5.2 与阿里巴巴的 Qwen3-max-thinking 位居第二和第三，其中 Qwen3-max-thinking 是国内最好的推理模型；月之暗面的 Kimi K2.5 和深度求索的 DeepSeek-V3.2-Thinking 分别排名国内第二和第三 [8]。名次说明头部模型的相对位置，但两分之间的绝对差值没有公开给出，因此不能由名次直接推出「差距是两个位置」。

第三个口径问题是确定性。评测结果随轮次变化，而技术迭代又很快——公开数据显示 2024 年底至 2025 年 8 月，大模型综合能力提升超过 30% [7]。把提升幅度按时间折算，约 0.67 年对应 30 个百分点以上的提升（测算，8 ÷ 12，单位年，年份 2024 至 2025）[11]，年化幅度约 44.8%（测算，30% ÷ 0.67，单位 %，年份 2024 至 2025）[11]。在这样一个迭代速度下，任何一次评测的结论都有一个天然的保质期，采购决策不能建立在上一次榜单上。

把三个口径问题合起来，可以得到一个可用的度量原则：用名次判断方向，用任务类型判断可行性，用迭代速度设定结论的有效期。三者缺一，判断就会失真——只看名次会高估差距，只看任务类型会忽略头部位置，忽略迭代速度会让结论过期而无人察觉。

公开评测给出的推理能力榜单结构是：第一名为谷歌 Gemini 3 Pro，第二与第三分别为 OpenAI 的 GPT-5.2 与阿里巴巴的 Qwen3-max-thinking，其中 Qwen3-max-thinking 是国内最好的推理模型；月之暗面的 Kimi K2.5 和深度求索的 DeepSeek-V3.2-Thinking 分别排名国内第二和第三 [8]。

把这份名次换算成席位结构：推理能力前三名中共有三个席位，其中国内模型占一席、国外模型占两席，国内占比 33.3%（测算，1 ÷ 3，单位 %，年份 2025）[8][12]。这个比例的意义在于它划出了一个区间——国内最好的一档已经进入前三，但还没有占据前两名。对采购决策而言，这意味着在推理密集型任务上，可选范围里确实存在一个国内模型，但它不是默认的首选，需要被单独验证。

同一份评测对基础能力的判断更为乐观：语言大模型基础能力国内模型进展显著 [8]。这两句话放在一起，构成了本报告对差距分层的基本刻画——基础能力在追平，推理能力在接近但仍有距离，代码能力已经进入第一梯队。三个方向的判断来自同一份评测，因此它们之间的差异不是来源不同造成的，而是任务性质不同造成的。

评估的参照系还在扩展。「方升」体系已从 1.0 升级至 3.0，覆盖从基础属性到未来高级智能的五层框架 [8]，测试数据规模达 780 多万条并持续动态更新 [8]。数据规模的扩大有一个常被忽略的后果：它会把过去因题量不足而隐藏的长尾失败暴露出来。一个模型在 1 万条题集上表现良好，在 780 万条量级的体系里可能出现新的薄弱面。因此评测规模的扩张，对头部模型和追赶者是不对称的——它更可能拉低追赶者的分数，而不是提升它。

代码任务的榜单结构与推理能力不同。公开口径显示，Anthropic 的 Claude 4.5 模型排名代码榜单首位，月之暗面的 Kimi2.5 在国内模型中表现最优 [8]。同一份评测对代码能力给出的总体判断是「表现优异」[8]，与推理能力「仍有差距」的表述形成对照。

「表现优异」落实到具体场景时需要拆开。代码任务内部并非同质：有的任务以补全与生成为主，有的以理解与解释为主，有的以修复为主。不同任务对上下文长度的要求、对错误的容忍度、以及对输出可验证性的依赖都不同。一个模型在某一类任务上排名靠前，不必然在其他类任务上同样靠前，这是把「代码能力优异」直接当作「可以整体替代」时最容易出现偏差的地方。

支持代码能力快速收敛的基础设施在同步扩张。公开材料指出，以开源开放为特征的新型智算生态正在加速形成，成果覆盖开源框架、开源通信库、开源算子库、开放计算平台与开源互联协议等多个层次 [7]。对代码类应用而言，这些成果的直接价值是降低微调与部署的门槛：代码模型的效果高度依赖与本地代码库的适配程度，而适配成本主要由工具链成熟度决定，而不是由基座模型的榜单得分决定。

技术投入的宏观背景也在变化。中国研发支出占国内生产总值比重由 2018 年的 2.102% 升至 2023 年的 2.577% [1]，五年间提高 0.475 个百分点，年均提高 0.095 个百分点（测算，(2.577 − 2.102) ÷ 5，单位百分点，年份 2018 至 2023）[9]。同期互联网普及率由 2020 年的 70.053% 升至 2025 年的 91.6% [2]，五年提高 21.547 个百分点，相对增幅 30.76%（测算，21.547 ÷ 70.053，单位 %，年份 2020 至 2025）[10]。这两个慢变量决定了模型能力的供给端与应用端同时扩张，但它们与榜单名次之间没有直接换算关系。

就业与人口结构的背景为部署侧的可行性提供了约束条件。世界银行口径下，中国失业率 2025 年为 4.615%、2024 年为 4.59%、2023 年为 4.67%、2020 年为 5% [4]；女性劳动参与率 2025 年为 59.148%、2024 年为 59.448%、2023 年为 60.216% [5]；城镇化率 2025 年为 66.343% [6]。这三项指标共同描述的是可获得的工程人才池与服务落地场景的空间分布。模型替代的部分价值来自减少重复劳动，而重复劳动的分布与这两个变量直接相关，因此替代效益在不同城市、不同团队之间不会一致。

这一背景对临界调用量的含义是明确的：在人力成本较高的地区，同样的模型效果对应更高的返工成本，自建的适用区间因此更宽；在人力成本较低的地区，返工可以被更便宜地吸收，自建的门槛相应更高。这与前文把返工成本记入判别式的结论方向一致。

开源替代的核心收益不在能力，而在成本结构的可预测性。闭源模型按调用量计费，成本随用量线性上升且不可控；开源模型需要自建部署，成本以固定投入为主，边际调用成本接近零。两者的取舍点出现在一个特定调用量上，而这个位置可以用两个参数算出来。

设年化固定成本为 C（包含算力、运维与适配人力），按量计费的单次价格为 p。两条成本曲线的交点对应的年调用量为 C ÷ p。本报告取固定成本 30 万元、100 万元、300 万元三档，单次价格取 0.002 元、0.01 元、0.05 元三档，构成一个九格矩阵。

矩阵的四个角给出取舍的边界。固定成本 30 万元配单次价格 0.05 元时，临界调用量为 600 万次；固定成本 300 万元配单次价格 0.002 元时，临界调用量为 15 亿次（均为测算，单位次，年份 2025）[13]。两者相差 250 倍。这个跨度说明一件事：脱离具体的计费单价去讨论「自建是否划算」，答案必然是模糊的——同一个固定成本，在不同的计费单价下，可以对应完全相反的结论。

把临界调用量与真实用量比较，就得到一条可以执行的判定规则。当年调用量高于临界调用量时，自建的年化总成本低于按量计费；低于临界调用量时，自建更贵。以固定成本 100 万元、单次价格 0.01 元为例，临界调用量为 1 亿次（测算，1,000,000 ÷ 0.01，单位次，年份 2025）[14]。这个量级对多数中小规模应用而言偏高，意味着在用量不足时，选择开源模型的理由不应该是省钱。

成本之外还有一个必须放进式子的变量：能力差带来的返工。若开源模型在目标任务上的表现弱于闭源模型，差额会以人工复核工时、重试次数与错误处理成本的形式出现，这部分支出不受调用量计费的约束，也不在固定成本里体现。把返工成本记为增量 Δ，判定条件变为：年调用量 × 单次价格 > C + Δ 时自建才占优。Δ 越大，自建的适用区间越窄。

把前面的分析整理成可执行的规则，需要按任务类型分档，而不是按模型分档。同一批候选模型在不同任务上的相对位置不同，因此决策单位应当是「任务」而不是「模型」。

第一档是输出可自动验证的任务，典型代表是代码生成与格式转换。这类任务的替代成本最低，因为效果可以直接用程序判定，返工成本的上界明确。规则是：用固定题集对候选模型做一次本地验证，通过则替代，不通过则放弃，不需要参考榜单名次。

第二档是输出部分可验证的任务，例如信息抽取与结构化改写。这类任务可以用抽样人工评分建立基准线，但基准线的稳定性低于自动判定。规则是：先建立评分标准并冻结，再做替代测试；测试结果的置信度随样本量提升，因此这类任务需要预留更大的验证样本。

第三档是输出难以验证的任务，例如方案设计与策略建议。公开评测对推理能力的判断是国内模型「仍有差距」[8]，而这类任务恰恰高度依赖推理。规则是：不做整体替代，只做辅助替代——把开源模型放在初稿生成或候选枚举环节，把判断环节留给更可靠的一方。

三档规则之外还有一条时间规则：为每一条替代结论设定失效期。考虑到 2024 年底至 2025 年 8 月大模型综合能力提升超过 30% [7]，按年化折算约 44.8%（测算，30% ÷ 0.67，单位 %，年份 2024 至 2025）[11]，一代结论的有效期不应长于一次主要版本迭代的周期。公开评测体系本身也在迭代，从 1.0 升级至 3.0、测试数据扩至 780 多万条 [8]，这些变化都会改变结论。

还有一个组织层面的动作值得单列：把本地验证题集固定下来。外部榜单反映的是通用分布，而实际业务任务集中于特定分布，两者的相关性有限。一套冻结的本地题集是唯一能把「外部评测」转成「本地结论」的桥梁，且其构建成本远低于部署一个模型。

第一项边界是本报告使用单一口径的评测来源。公开评测的结论依赖其题集构成与评分方法，不同评测体系对同一批模型的排名可能出现差异。本报告引用的榜单结构来自一份公开口径 [8]，不构成对排名的独立复核。

第二项边界是能力差距与业务效果之间并非线性关系。榜单得分衡量的是在特定题集上的平均表现，而业务效果取决于任务分布、错误代价与容错设计。一个在榜单上落后几分但在特定任务上表现稳定的模型，可能比排名更高但方差更大的模型更适合生产环境。

第三项边界是成本参数的时效性。本报告的临界调用量是基于固定成本三档与单次价格三档的组合测算 [13][14]，这些参数随算力价格、工具链成熟度与定价策略变化而变动，测算结果应作为方法模板而非固定结论。

第一项反面证据来自评测规模扩张的方向性影响。测试数据扩至 780 多万条动态更新 [8]，理论上更接近真实分布，但也意味着评测结论对题集更新的敏感度上升。如果题集在下一轮大幅更换，名次可能出现与能力变化无关的波动。

第二项反面证据来自「基础能力进展显著」这一判断的适用面 [8]。基础能力的提升主要影响日常问答与文本处理类任务，而这类任务的商业价值密度通常低于推理与代码任务。因此基础能力的追平，对整体替代格局的改善可能小于直觉预期。

第三项反面证据来自迭代速度本身。综合能力在不到一年内提升超过 30% [7]，意味着任何基于当前榜单的替代决策都在快速贬值。这不是对替代方向的否定，而是对其时间边界的提醒——决策需要自带失效条件，而不是只在做出决策时评估一次。

还有一项边界来自评测题集的领域覆盖。行业能力的标准化程度低于通用能力，而多数企业的实际任务落在行业层。这意味着在通用榜单上接近的两个模型，在具体行业任务上的表现可能相差明显，而这种差异不会体现在已公开的名次上。把通用榜单当作行业选型的直接依据，是当前最常见的误用。

第四项反面证据来自部署后的行为漂移。开源模型的版本迭代可能改变输出风格与格式稳定性，而这类变化通常不会反映在能力得分上。对依赖结构化输出的业务而言，格式稳定性比能力得分更重要，一次静默的格式变化可能造成下游解析失败。因此在替代评估中，应当把格式一致性作为独立的验收项，而不是把它并入总体效果评价。

结论可以压缩成三句话。第一句：能力差距按任务类型分层，基础能力在追平、推理能力仍有距离、代码能力已进入第一梯队，把三者合并成「差距在收敛」会丢掉决策所需的信息。第二句：替代决策的单位是任务而不是模型，因为同一批模型在不同任务上的相对位置不同。第三句：在用量不足时选择开源模型的理由不是省钱，而是数据合规与供应链可控等非成本因素。

跟踪指标分为评测层、任务层与成本层。评测层跟踪三项：分任务类型的国内外差值、题集规模与更新节奏、以及榜单前三名的席位结构。这三项用于判断外部环境的方向。

任务层跟踪三项：本地题集的替代通过率、各任务在总调用量中的占比、以及复审工作量占比。这三项用于判断替代是否真的在生产环境中成立。成本层跟踪两项：自建部署的实际年化固定成本、以及按量计费的实际单价。这两项用于校准临界调用量。

最后说明时效与用途。本报告引用的评测结论以 2025 年数据为最新年度 [7]，榜单结构以 2026 年初发布的观察为基准 [8]，国际比较指标的最新年度为 2023 年至 2025 年 [1][2][3][4][5][6]。考虑到综合能力的年化提升幅度可观 [7]，本报告的测算矩阵适合作为方法模板重复使用，其中的参数应在每季度复核后替换。本报告不构成对任何模型或产品的选择建议。

• 评测层：分任务类型的国内外差值、题集规模与更新节奏、榜单前三名席位结构。
• 任务层：本地题集替代通过率、各任务调用量占比、复审工作量占比。
• 成本层：自建部署年化固定成本、按量计费实际单价、以及两者的临界调用量。

下表汇总本报告全部可证伪判断。每条链给出成立依据、适用边界、反面情形、跟踪指标与证伪条件；任何一条被证伪，对应的结论段应当同步修改。

本报告的来源分为三个档次：国际组织开放数据库标记为第一档，权威机构与媒体的公开转引口径标记为第二档，本报告基于外部锚参数推算的结论标记为测算，不构成独立来源。测算条目的完整参数如下。

• 研发强度变化：2.577% − 2.102% ＝ 0.475 个百分点；0.475 ÷ 5 ＝ 年均 0.095 个百分点。
• 互联网普及率变化：91.6% − 70.053% ＝ 21.547 个百分点；21.547 ÷ 70.053 ＝ 相对增幅 30.76%。
• 能力提升的年化折算：2024 年底至 2025 年 8 月约 0.67 年；30% ÷ 0.67 ＝ 年化约 44.8%。
• 榜单席位结构：推理能力前三名共 3 席，国内占 1 席，1 ÷ 3 ＝ 33.3%。
• 临界调用量：年化固定成本 C ÷ 单次价格 p；固定成本取 30 万元、100 万元、300 万元，单次价格取 0.002 元、0.01 元、0.05 元。
• 返工成本影响：判定条件为年调用量 × 单次价格 > C + Δ；以 C ＝ 100 万元、p ＝ 0.01 元为基准，Δ 由 0 增至 200 万元时临界调用量由 1 亿次升至 3 亿次。

以上参数中，固定成本、单次价格与返工成本三项为情景设定，用于展示临界调用量对参数的敏感度，不代表任何特定组织的实际支出；研发强度变化、互联网普及率变化、能力提升年化折算、榜单席位结构与临界调用量五项为可由公开数据直接计算的比值或差值，可逐项核对。评测名次与结论均转引自公开报道，读者应回溯原始发布主体核对评测轮次与题集范围。