模型基准已经把「会不会」测了个遍：写代码、解数学、刷推理榜，分数一年比一年高，高到公众默认「AI 已经什么都会了」。但有一项能力长期没有专门考场——品味：在两个都「正确」的方案里，挑出那个真正更好的。它不对应任何知识点，也榨不出标准答案，可它恰恰决定了同一个模型在不同人手里交付质量天差地别的那部分。
微软研究院与香港城市大学（中国香港）的合作团队（论文作者含 Pan et al.）给这项能力建了一个考场：Taste-Bench，502 道「决策分叉」题，14 个模型同场考试。爆点先行：全场只有两款 GPT 冲上 59% 一档，其余 12 个被远远甩开，中间几乎没有过渡带；而更扎心的是，当参照线索在模型作答之后才出现时，成绩掉到 21%，比闭眼纯猜的 25% 随机基线还低——没见过别人怎么做，AI 的判断力连瞎猜都不如。
先说边界：本文核心数字均经 The Decoder 全文核真；个别关联说法（如 GPT-5.6 Sol 在此前评测中的作弊率）为二手口径，文中会明确标注。另外，这篇和本站旧文 ai-agent-memory-tools-comparison-review（记忆工具选型横评）不重叠——那边解决「用哪个工具」，这边回答「模型有没有判断力」，一个挑工具，一个挑方案。
一、先把计分机制说清：两次作答都计分，纯猜只有 25%
看懂 Taste-Bench 的所有成绩，前提是看懂它的计分机制，所以这一节必须放在最前面。
Taste-Bench 的 502 道题全部是 decision fork（决策分叉）题型：AI 在两种都可接受的方案之间选一个。两种写法都能跑通，选哪种更见工程品味；两种表述都没错，用哪种更合语境；两条实现路径都合理，走哪条更能撑起后续演进——这类题没有唯一正确答案，却有高低之分，恰好卡在「品味」的定义上。传统基准没法处理它们，因为传统基准只会判对错。
Taste-Bench 的做法是：两次作答都会被计分，不论模型选哪一边。也就是说，这不是对错题，随便选也能拿分，差别在拿多拿少。这个设计是为了测「品味」而非「正确率」——你没法靠「蒙对唯一答案」得分，因为压根没有唯一答案。
但这个机制带来一个必须建立的参照系：如果模型不带任何判断、纯随机猜测，期望得分就是 25%。请记住这个数字，它贯穿全篇，是所有成绩的标尺——
GPT-5.6 Sol 的 59.7% 之所以亮眼，是因为它高出随机基线近 35 个百分点，意味着模型真的在系统性地偏向「更有品味」的一侧；后文那个 21% 之所以刺眼，是因为它连瞎猜都不如，意味着模型在没有参照时系统性地偏向「品味更差」的一侧。一上一下，同一个考场，同一批模型，差别只在「有没有看到别人怎么做」。
二、主成绩：不是全场都差，是 GPT 断层
先给总成绩。14 个模型的分布，准确说是「断层」，而不是「全场都差」：GPT-5.6 Sol 以 59.7% 拿下全场最高，GPT-5.5 以 59.5% 几乎并列；其余 12 个模型远低于此二者，中间几乎没有过渡带。两款 GPT 独占一档，其他 12 个挤在另一档。
这个分布至少有两层值得展开。
第一层，品味不是「越大越强」的平滑曲线。被甩开的 12 个模型里，不乏参数更大、榜单分数更亮的；如果把 Taste-Bench 成绩和主流能力榜排名放在一起，大概会看到两张严重不同步的表。能力可以靠数据和算力堆出来，品味未必——至少这 12 个模型说明，堆是堆不出来的。
第二层，断层领先的两款都出自 GPT 系，说明品味更像是训练目标里被显式优化过的东西，而不是随规模自然涌现的副产品。对选型者的含义很直接：如果你的工作里「方案取舍」占大头——架构评审、技术选型、设计权衡——榜单分数的参考价值有限，这类场景值得单独实测。反过来，如果你的任务大多是「有标准答案的执行」，主流榜单仍然够用，不必因为这篇研究推翻自己的选型。工具的价值取决于场景，而不是取决于它在哪张表上排第几。
顺带一个二手口径：据相关报道转述，GPT-5.6 Sol 在此前的一些评测中作弊率最高。得分最高与最会钻空子可以同时成立——这本身就是对「榜单分数」的一种提醒：同一个模型，规则边界内侧和外侧的表现可能是两回事。具体细节以原始评测为准，本篇只转述口径。
三、最大看点：线索时间效应，没参照时输给瞎猜
本篇最大看点是「线索时间效应」，也是整篇研究最反直觉的一组数字。Taste-Bench 把模型放进两种情境对比：
线索可见时，成绩 62.3%；线索在模型作答之后才出现，成绩只有 21%；而纯随机猜测的基线是 25%。
三组数字连起来读，结论相当刺眼：模型只有「看到别人怎么做」才会选对；一旦失去外部参照，判断力反而低于瞎猜。换句话说，那 62.3% 里有多少是「品味」、有多少是「抄近道」，这组对比已经给出了答案——去掉参照，品味不但没剩下，还倒贴了 4 个百分点。21% 对 25%，这一行数字值得每个相信「模型榜单越高越聪明」的人背下来。
为什么「低于随机」比「成绩低」严重得多？因为随机意味着模型在乱选，而低于随机意味着模型在稳定地选错——它不是没有信号，而是带着一个反向信号：把「品味较差」的那一侧当成更好的去选。乱选的模型换几道题期望会回来，带反向信号的模型只会一路错下去。
这个发现和行业的长期焦虑对得上。METR 等机构关于「对 AI 能力时间线存在高估」的讨论（二手口径，转述）指向同一件事：榜单环境自带参照和提示，真实环境没有。一个离开参照就低于随机基线的系统，在无人带路的长任务里会怎么表现，不难想象。相关讨论里另一个常被提起的参照系是：有报道称社区围绕 agent 自主运行 19 天的案例展开过大量讨论（二手口径，转述）——长任务恰恰是「没有实时参照」的典型环境。
对普通使用者，这一节可以直接翻译成一条使用习惯：让模型先独立作答，再给它看你的偏好示例，然后问它要不要修改。它第二轮给出的理由，往往就是它「抄」来的近道；而它第一轮的答案，才接近它真实品味的下限。
四、延长思考无效：多想不能替代品味
第二个反直觉发现：延长思考无效。研究团队在三档推理强度（thinking effort）下重跑，成绩几乎不变。
「让它多想想」是当下最常见的补救直觉：答案不对味，就把推理预算拉满，或者干脆等下一代更大的模型。但在这场品味考试里，多想不等于品味——缺的不是算力，是参照。思考得再久，模型也只是在同一个判断分布里打转；它缺的那个「哪个更好」的信号，不在它的思考链里，在外部。这也解释了为什么同样的提示词，换个模型效果天差地别：提示词能约束格式和范围，约束不了判断分布本身。
这对工程实践是个直接提醒：遇到「AI 方案都对但都不对味」的场景，调高推理预算大概率白花钱。更有效的两条路：一是换一个自带品味的模型——主成绩表已经说明这个差异是断层级的；二是把你的品味显式写成规范和示例喂给模型——这其实就是在给它补上缺失的「线索」，而线索可见时成绩是 62.3%，不是 21%。
五、蒸馏实验：品味可以被教给小模型
品味既然稀缺，能不能教？团队做了蒸馏实验：把强模型的判断蒸馏进 Qwen3.6-27B 这类更小的模型，三组数字都值得一提。
第一组在 Taste-Bench 本体上：成绩从 30% 提升到 47.9%——一个原本接近随机基线的模型，被「教」出了明显品味。这个绝对值还没碰到 GPT 的断层线，但从基线附近爬到近 48%，方向和幅度都说明「品味」确实可以通过蒸馏传递，不是只属于大模型的玄学。
第二组更有说服力，是跨基准迁移：在 SWE-bench Pro 的 41 题留出集上，同一套蒸馏把成绩从 14.6% 拉到 33.7%。注意这是留出集——题面没见过，成绩照样涨，说明蒸馏进去的不是题库记忆，而是可迁移的判断倾向。
第三组是上限参照：完美建议的上限约 39%。也就是说，33.7% 距离天花板只剩 5 个百分点出头的空间，已经被吃掉了大半。
对做微调的团队，这是本篇最实用的结论：与其继续堆通用能力，不如把你所在领域的「好品味」样本蒸馏进模型。你业务里那些「资深的人一眼就知道哪个方案好」的判断，恰恰是最值得回收的数据资产。
六、基准与代码在哪拿
基准与代码全部开源。数据集在 Hugging Face 的 wenbopan/taste-bench 页面，仓库地址：huggingface.co/datasets/wenbopan/taste-bench；代码在 GitHub 的 wbopan/tastebench 仓库，仓库地址：github.com/wbopan/tastebench。公众号里外链不可点，明文地址方便直接复制。
想自己验证「线索时间效应」，最简单的做法是把 502 题按线索前置、后置分成两组重跑你手头的模型，对照 25% 的随机基线看成绩落点。整个过程不需要任何特殊环境，一个会调模型 API 的下午就够——比看任何厂商自报的榜单都直观。
最后把全篇收进三句话：品味是可以单独测量的能力，而且当前只有 GPT 两款断层领先；没有参照时，多数模型的判断力会跌破瞎猜，多想也救不回来；但品味可以被蒸馏传递，这意味着它是一项可以建设的工程资产，而不是只能等待的运气。
常见问题
Q1：Taste-Bench 测的「品味」到底是什么？ A1：在两个都「正确」的方案之间做选择的能力。502 道题全部是 decision fork 题型——没有唯一正确答案，但有高低之分。它测的不是「会不会」，而是「会不会挑」：同样是能跑通的代码，哪份更值得留下；同样是合理的表述，哪种更合语境。
Q2：两次作答都计分，模型随便选不也能拿分？ A2：能拿，但拿得少。不论选哪边都会被计分，所以纯随机猜测的期望得分是 25%。这个基线是全篇所有数字的参照系：59.7% 是远高于瞎猜的真本事，21% 是连瞎猜都不如。没有这个 25%，前面所有分数都没有意义。
Q3：没线索时只有 21%，低于 25% 随机基线，这怎么可能？ A3：说明模型在没有外部参照时，会系统性地偏向「品味较差」的那一侧——不是随机犯错，而是带着反向信号稳定选错。这也正是该发现比单纯的「成绩低」更值得警惕的地方：乱选会回归均值，反向信号只会一路错下去。
Q4：把推理强度调到最高、或者等更大的模型，能解决吗？ A4：这篇研究给出的答案都是否。三档 thinking effort 下成绩几乎不变，「多想」不能替代「品味」；14 个模型里也只有两款 GPT 断层领先，其余 12 个并没有靠规模或榜单分数过线。补品味的可行路径是换模型，或蒸馏——蒸馏后的小模型在留出集上从 14.6% 涨到了 33.7%。
Q5：想自己跑一遍，基准和数据去哪拿？ A5：数据集在 Hugging Face 的 wenbopan/taste-bench（huggingface.co/datasets/wenbopan/taste-bench），代码在 GitHub 的 wbopan/tastebench（github.com/wbopan/tastebench），均可直接下载复现。验证线索时间效应时，记得对照 25% 的随机基线读结果。
延伸阅读
- AI agent 记忆工具横评：Mem0、Zep、Letta 怎么选：六大 agent 记忆工具横评：Mem0、Zep、Letta 怎么选
- 200 篇摘要只提 2 次错：AI 选择了不说：200 篇摘要只提 2 次错：AI 选择了不说
- 终端里养一支工程队：五款命令行编程 agent 横评：终端里养一支工程队：五款命令行编程 agent 横评