中/EN
前沿热点
前沿热点

上下文窗口卷到百万级：长文本是真刚需还是军备竞赛

2024 年 Gemini 1.5 把上下文推到 100 万 token，到 2026 年中「百万级」已成头部模型标配，国产阵营卷向千万。拆解长上下文解决了什么、没解决什么（中间遗忘）、成本与大海捞针，给普通人三点选型建议。

发布于 2026年7月27日4 分钟阅读

一、百万 token 成标配

2024 年 Gemini 1.5 把上下文窗口推到 100 万 token 时，行业还当新闻看。到 2026 年中，"百万级"已是头部模型的标配：Gemini、GPT、Claude，以及国产 Qwen、GLM、Kimi 都把长上下文当卖点，国产阵营甚至开始卷"千万 token"量级的探索。军备竞赛肉眼可见地在加速。

二、长上下文解决了什么、没解决什么

解决了：一次性喂进整本书、整个代码库、几十份合同，不用再手动切片、检索、拼上下文——很多过去需要 RAG 的场景被直接覆盖。

没解决："放得进"不等于"找得到、用得准"。长上下文里普遍存在"中间遗忘"（lost in the middle）现象——位于中间位置的信息更容易被模型忽略；token 越多，注意力越分散，关键细节照样会漏。

三、成本与"大海捞针"

长上下文不便宜。一次请求塞满 100 万 token，输入成本是短对话的几十到上百倍。而行业基准 NeedleInAHaystack（大海捞针测试）显示，多数模型在超长上下文下的召回率会随长度下滑；更新的 RULER 基准进一步证明，"标称长度"和"有效长度"常常差一大截。

"能放"和"能用"是两回事。

四、普通人怎么选

  1. 按需用长上下文：日常对话别开百万——又贵又未必稳；只在整库代码、长文档、批量合同这类真需要时上。
  2. RAG 没死：对超大规模、需要精确召回和可溯源的场景，检索增强（RAG）依然比塞满上下文更准、更省。
  3. 盯"有效上下文"而非"标称上下文"：厂商吹的数字，看独立基准（NIAH、RULER）实测，别只信广告页。

一句话：上下文长度像内存——越大越好，但关键看"有效寻址"。卷数字是营销，卷召回率才是真本事。

参考来源

本文由 AI 辅助生成，经人工审核编辑。最后更新：2026-07-27

常见问题

上下文窗口越大越好吗？
不一定。「放得进」不等于「找得到、用得准」。长上下文存在「中间遗忘」（lost in the middle），token 越多注意力越分散，关键细节照样漏。看「有效上下文」而非「标称上下文」。
有了百万 token 还需要 RAG 吗？
需要。对超大规模、需要精确召回和可溯源的场景，RAG 比塞满上下文更准更省。长上下文适合整本书 / 整个代码库一次性喂入，RAG 适合精确检索。
长上下文贵吗？
贵。一次请求塞满 100 万 token，输入成本是短对话的几十到上百倍。日常对话别开百万，只在整库 / 长文档 / 批量合同这类真需要时上。

相关文章