LLM 还差什么：八大能力短板、真实痛点与2026年的业界解法

零、先读懂 16 个关键术语

术语	一句话解释	类比
幻觉（Hallucination）	模型输出看似合理但与事实不符的内容，且语气同样自信	一本正经地胡说八道
忠实性幻觉 vs 事实性幻觉	忠实性：给你文档，摘要时加了文档里没有的内容；事实性：闭卷问答时编造事实。两者测量方式完全不同，一个好不代表另一个好	抄错 vs 凭空编
Grounding（ grounding / 有据可依）	让模型的回答建立在给定的外部材料上，而不是靠参数记忆	开卷考 vs 闭卷考
RAG（检索增强生成）	先从你的文档库检索相关内容，再让模型基于这些内容回答	答题前先翻资料
重排序（Reranking）	向量搜索粗召回后，用一个更精细的模型重新排序，选出最相关的几条	初筛后再精选
弃权（Abstention）	模型回答”我不知道”而不是硬猜	会就说，不会就说不会
校准（Calibration）	模型表达的置信度与实际正确率是否匹配。说 90% 确定就应该对 90%	自称的水平 = 真实的水平
ECE（期望校准误差）	衡量校准好坏的指标。越低说明”说多准就有多准”	自评与实际的分差
上下文（Context）	模型单次能看到的全部内容：系统提示 + 历史对话 + 检索到的文档 + 工具返回	办公桌桌面，放不下就得收走
上下文腐烂（Context Rot）	上下文变长后，模型准确率持续下降，即使答案就在里面	桌面越乱，越找不到东西
Lost in the Middle	模型对上下文开头和结尾记得好、中间容易忽略，形成 U 形曲线	只记得开头和结尾，中间走神
上下文工程（Context Engineering）	把上下文窗口当作需要主动管理的动态资源，而不是一个被动的大容器	从”堆资料”变成”整理资料”
压缩（Compaction）	把对话历史中较早的部分总结成紧凑记录，用摘要继续而不是原文	会议纪要替代会议录音
级联 / 路由（Cascade / Routing）	先让便宜的小模型答，答不好或不确定再升级给贵的大模型	小病去社区医院，大病转三甲
提示词注入（Prompt Injection）	外部内容（网页、文档、邮件）里藏着指令，劫持模型去做攻击者想做的事	别人在你耳边说”忽略老板刚才的指示”
人在环（Human-in-the-loop）	在关键步骤暂停，等人类确认后再继续执行	付款前的确认弹窗

一、全景：一张痛点地图与三个反直觉发现

1.1 先看一张总表

痛点	一句话概括	严重程度	当前最有效的解法	是否被”解决”
① 幻觉	一本正经地编造	高（但被过度关注）	RAG 有据可依 + 引用校验 + 允许弃权	❌ 缓解到阈值以下
② 过度自信	不知道自己不知道	高（被严重低估）	校准训练（RLCR）、置信度感知推理	❌ 刚起步
③ 上下文腐烂	塞得越多反而越笨	高	上下文工程（压缩/选择/隔离）	❌ 需持续管理
④ 长任务不可靠	误差随步数复合	最高（Agent 落地头号杀手）	窄范围 + 人在环 + 持续评测	❌ 工程为主
⑤ 知识不更新	没有真正的持续学习	中高	RAG + 定期重训；持续学习在研	❌ 未解
⑥ 看不准算不对	视觉感知与精确计算	中高	工具接管计算；感知仍是开放问题	❌ 部分解
⑦ 成本与延迟	能力是拿钱买的	中	路由级联、缓存、输出压缩	✅ 工程上成熟
⑧ 安全	提示词注入	高（Agent 时代放大）	纵深防御 + 人在环	❌ 无法根除

1.2 三个反直觉的发现

发现一：幻觉不是生产环境的头号失败原因。

2026 年的生产事故分解数据显示[citation:6]：

失败类型	占事故比例
工具调用错误	~28%
记忆与状态问题	~22%
未处理的边缘情况	~18%
幻觉	~12%
超时 / 失控循环	~9%
认证与权限	~6%

幻觉被讨论得最多，却只占约 12%。真正的头号问题是”工具调错了”和”记不住”——这两件事恰恰是 Agent 落地的核心。

发现二：能力是”锯齿状前沿”（Jagged Frontier），不是一条平滑上升的线。

斯坦福 2026 AI Index 里最有意思的一组对照[citation:3]：

任务	2023	2026 初	人类基线
WebArena（自主网页操作）	15%	74.3%	~78%
OSWorld（跨系统计算机操作）	12%	66.3%	~72%
SWE-bench Verified（单补丁修代码）	<5%	80%+	已饱和
读模拟时钟	—	50.1%	~99%

能拿国际数学奥赛金牌的同一个模型，看模拟时钟只有五成准确率。而且目前没有干净的理论能预测某个企业工作流会落在这条线的哪一侧[citation:3]。

发现三：模型往往不是瓶颈，“模型周围的东西”才是。

Google DeepMind 研究者的说法被反复引用：“大多数 Agent 失败已经不是模型失败，而是上下文失败。“[citation:26]

LOCA-bench（2026 年 2 月）的基准测试证实了这一点：同一个模型，套上不同的上下文管理脚手架，成功率差异巨大[citation:26]。

二、痛点一：幻觉——最出名的，但不是最大的

2.1 数字先摆出来

场景	幻觉率
通用 LLM（Stanford AI Index 2026）	15–30%[citation:1]
配了领域 RAG 之后	< 5%[citation:1]
构建良好的检索有据任务	可低于 2%[citation:7]
法律领域	69–88%[citation:7]
医疗领域	43–64%[citation:7]
文档摘要的忠实性（Vectara HHEM，2026-09-22）	最好的 1.8%，若干前沿模型约 10%[citation:4]

⚠️ 一个必须区分清楚的事：忠实性幻觉（给文档做摘要时加料）和事实性幻觉（闭卷问答时编造）是两件不同的事、两套不同的测量。Vectara 榜单上表现好的模型，在开放事实问答上未必好[citation:4]。

2.2 根因：不是 bug，是训练目标的必然产物

模型做的事是”预测下一个最合理的 token”，它内部没有任何”这是不是真的”的判断机制[citation:10]。三个力量叠加[citation:10]：

力量	说明
训练目标奖励”合理”而非”真实”	模型学的是”看起来对”
参数记忆是有损压缩	事实被压进权重，精确数字、生僻人名、URL 重建时最容易出错
没有”弃权”的许可	不给它说不的机会，它就会用同样的自信语气填空

最关键的是第三条，而且有硬数据。OpenAI 的 GPT-5 系统卡里有一组对照[citation:4]：

	弃权率	准确率	错误率（幻觉）
某模型（多弃权）	52%	22%	26%
o4-mini（几乎不弃权）	1%	24%	75%

o4-mini 在原始准确率上还高 2 个点，但错误率从 26% 飙到 75%——因为它只在 1% 的问题上弃权，其余全靠猜。

OpenAI 自己的研究指出根因：主流准确率榜单对”弃权”给零分、对”猜”给得分期望，于是”猜”在平均意义上更划算[citation:4]。

2.3 业界解法：五层，从数据到验证

层	做法	效果
① 有据可依（RAG）	检索真实文档，让模型基于这些文档回答	降低 30–50%；做得好可到 <2%[citation:7][citation:1]
② 引用强制	要求每条结论标注文档 ID / URL，缺引用则拒绝输出	把不可验证的主张变成可核查的
③ 允许弃权	明确告诉模型”上下文没有答案时说不知道”是被期望的	可测量地改变行为[citation:4]
④ 自洽性检验	用不同随机种子生成 N 个答案，不收敛则标记为”不确定”	减少 10–40%[citation:7]
⑤ 验证链（CoVe）	起草 → 生成验证问题 → 逐条回答 → 综合修订	Meta 报告事实性 +23 个百分点[citation:1]

一个完整的落地案例[citation:1]：某韩国领域 RAG + 跨模型交叉验证架构——

内部文档嵌入 → 混合 BM25 + 向量检索取 Top-K
     ↓
第一遍：主模型带引用作答
     ↓
第二遍：另一个模型核验事实性与引用对齐，不一致则重生成
     ↓
每日用 Ragas 监控"答案-证据对齐度"

结果：某制造企业客服机器人的幻觉率从 22% 降到 3%，人工升级量下降 38%[citation:1]。

2.4 残留风险：四条必须知道的边界

边界	说明
RAG 不等于消除幻觉	它只解决”忠实性”这一种。检索不到来源的闭卷问题照样编[citation:4]
检索质量差会雪上加霜	返回不相关的”看起来权威”的材料，反而给模型新的抓手去编[citation:10]
引用本身也可以伪造	要求引用不能阻止幻觉，只是把不可验证变成可核查——还需要第二遍自动校验[citation:4]
永远到不了 0	OpenAI 自己承认准确率不会到 100%，因为有些问题本质上不可回答[citation:4]

三、痛点二：过度自信——它不知道自己不知道

这个痛点被讨论得远不够，但可能是最危险的——因为它让用户失去了”要不要再核一遍”的信号。

3.1 现象：置信度和正确率是脱钩的

UC Berkeley 的 LifeEval 测试给了很干净的一组数字：11 个模型平均报告 88% 的置信度，但实际只对了 79%——9 个点的过度自信；而且表现出和人类一样的”难易效应”——难题上过度自信，简单题上过度谦虚[citation:11]。

多模态场景更极端。浙大团队的实验：把输入图像一路加噪到接近不可辨认，准确率断崖式下跌，但置信度几乎不动——图像都看不清了，模型仍然笃定地给答案。这个现象被称为感知钝化（Perceptual Bluntness）[citation:5]。

3.2 根因：两个层面

层面	说明
训练激励	RLHF 阶段，人类评估者偏好自信、顺从的回答超过犹豫、保留的回答——这可能把过度自信直接训进了模型[citation:11]
标准 RL 反而加剧	MIT 的发现很反直觉：普通的 RL 训练不是”没帮上校准”，而是主动损害它——模型变得更能干的同时更过度自信[citation:8]

还有一个技术层面的原因：在长推理链里，单个 token 的概率不再可靠。一个早期的、高概率的 token 可能把整条执行路径锁死，最终输出 token 的概率仍然很高，但整条推理是错的——模型无法回溯地计算中间假设的复合风险[citation:2]。

3.3 解法一：训练时直接优化校准（RLCR）

MIT CSAIL 的做法非常优雅——在奖励函数里加一项 Brier 分数[citation:8]：

📖 Brier 分数：衡量”声称的概率”与”实际结果”之间差距的经典指标。说 95% 确定但实际只对一半，会被重罚。

标准 RL 奖励：答对 +1，答错 0
RLCR 奖励  ：答对 +1，答错 0，【再加一项 Brier 分数】

→ 自信地答错：被惩罚
→ 正确地答对却过度犹豫：也被惩罚

效果：标准 RL 让校准变差，RLCR 逆转了这个趋势，在不损失准确率的前提下显著改善校准；而且优于”训完之后再挂一个分类器打分”的事后方案[citation:8]。

一个额外发现很有意思：模型”关于自己有多大把握”的显式推理过程本身包含真实信息——把这个推理文本喂给分类器，分类器表现会变好，小模型上尤其明显[citation:8]。

3.4 解法二：把置信度变成算力调度信号

浙大团队的 CA-TTS（CVPR 2026）给出了一个完整范式[citation:5]：

第一步：CDRL（置信度驱动的强化学习）
    让模型同时看原始图和加噪图，用双重奖励训练：
    · 感知敏感性奖励：鼓励模型对"图变差了"产生合理的置信度落差
    · 校准一致性奖励：答对且自信→奖；答错却自信→罚
    效果：面对噪声时置信度下降幅度是训练前的 4.3 倍，遮挡下 4.7 倍

第二步：CA-TTS（置信度感知的测试时扩展）
    · Self-Consistency：不是简单多数投票，而是【置信度加权】投票
    · Self-Reflection：置信度不足时，专家模型以 Critic 角色给批评，引导重新推理
    · Self-Check：对比原图与噪声图下的输出分布，验证答案是否真依赖视觉证据

结果（基座统一为 Qwen2.5-VL-7B，提升来自方法本身）[citation:5]：

指标	结果
Math-Vision	23.0% → 42.4%（近翻倍）
MMMU	+17.5 个百分点，达 66.3%
消融：单独 CDRL	+3.4 点
消融：单独 CA-TTS	+15.0 点
两者结合	+19.4 点（有明显协同）

最有意思的是 test-time scaling 的斜率——采样数从 1 增到 32 时[citation:5]：

方法	扩展斜率 β
CA-TTS	3.65
多数投票	1.64
DeepConf	1.19

同样的额外算力，CA-TTS 的效率是多数投票的 2.2 倍。 因为它不是”更频繁地碰运气”，而是把算力投向真正不确定的问题。当多数投票在 35% 附近饱和时，CA-TTS 仍能爬升并突破 45%[citation:5]。

3.5 解法三：工程侧的置信度用法

用法	说明
自适应检索	先算内部置信度，够了就直接答，不够才去查外部库——避免”过度自信瞎答”和”过度谦虚浪费”两端[citation:2]
置信度加权投票	替代朴素多数投票
低置信度升级	小模型先答，置信度低于阈值就升级给大模型（见第八章）
探针内部隐藏状态	在模型隐藏层上训练一个轻量分类器，直接预测成功率——比 token 概率更校准[citation:2]

3.6 残留风险

量化压缩会保留甚至放大过度自信[citation:2]——省了显存，但可能让模型更”嘴硬”；
直接问模型”你有多大把握”极不稳定，提示词措辞的微小变化就能让答案大幅摇摆[citation:2]；
口头自评与真实正确率的对齐需要专门训练，不能靠提示词实现[citation:8]。

四、痛点三：上下文腐烂——塞得越多，反而越笨

4.1 现象：窗口变大了，但准确率在下降

一个被反复验证的事实：模型准确率随输入变长而持续下降，即使远在标称窗口之内、即使答案就在里面。学界称之为上下文腐烂（Context Rot）[citation:22]。

                    准确率
                     ↑
                     │  ╭──╮
                     │ ╱    ╲___
                     │╱          ╲___
                     └─────────────────→ 上下文长度
                      短    中    长   超长

NIAH 测试的欺骗性：厂商宣传的”大海捞针”热力图测的只是逐字检索（找出那句”密码是菠萝”）。真实任务需要整合推理——而多跳推理在事实分散于 100k+ token 噪声中时，准确率下降 25–45%[citation:23]。

4.2 经典问题：Lost in the Middle

模型对上下文呈现 U 形注意力曲线[citation:19][citation:23]：

位置	有效注意力	适合放什么
开头（前 10%，首因）	很高	系统提示、核心行为规则、角色定义、安全约束
中间（10–90%，低谷）	低到中等	背景参考文档、原始工具输出（易被忽略）
结尾（后 10%，近因）	最高	当前用户问题、输出格式要求、关键执行指令

⚠️ 2026 年仍有这个问题：截至 2026 年，没有任何生产模型完全消除位置偏置，它是 Transformer 工作方式的结构性产物[citation:19]。多尺度位置编码（Ms-PoE）、注意力校准等方法能减轻，但不能根除[citation:19]。

4.3 四种上下文失败模式

业界有一个实用分类[citation:22]——这四种都是”往窗口里放了什么”的失败，不是模型本身能力的失败：

模式	现象
上下文投毒（Poisoning）	一个幻觉或错误进入上下文，之后被反复引用，错误不断复合
上下文分心（Distraction）	历史太长，模型过度依赖它而不再制定新计划，只会重复过去的动作
上下文混淆（Confusion）	无关材料被用上，拉低答案质量
上下文冲突（Clash）	新加入的信息或工具与已有内容矛盾——接入第三方工具时极常见

4.4 解法：上下文工程的四个操作

这是 2026 年最重要的工程范式转移：从”提示词工程”转向”上下文工程”——不问”怎么写这句话”，而问”模型完成这个任务需要什么样的信息环境”[citation:26]。

操作	做什么	为什么
Write（写入）	把工具返回的原始负载存到外部数据结构，只在上下文里写回一个”成功标志”或句柄	别让大 JSON 占着窗口
Select（选择）	只动态注入当前步骤需要的工具定义和文档片段	见下
Compress（压缩）	历史太长时，把多步轨迹蒸馏成结构化摘要	保住关键信息，砍掉噪声
Isolate（隔离）	给不同角色（规划者/执行者/审核者）各自独立的上下文窗口	避免交叉干扰

压缩的具体做法[citation:18]：

1. 无损保留：系统指令、核心用户目标、最近 k 步执行
2. 有损压缩：中间历史交给轻量摘要函数，压缩成结构化 Markdown
   （关键发现 / 已成功执行的动作 / 工具失败记录）
3. 上下文重建：删掉原始历史，在指令与最近步骤之间插入摘要

选择（Tool RAG）的效果很实在：上下文里放 5–8 个工具的 Agent，表现优于放 40+ 个工具的同款 Agent——即使那 40 个里包含了正确的那个。无关工具定义的噪声本身就在损害模型的选择能力[citation:26]。

隔离（多智能体）的推荐结构[citation:18]：

Planner（规划者）  上下文里只有：用户意图 + 计划状态 + 高层进度
      ↓ 输出一个子目标 Ri
Executor（执行者） 拿到干净的上下文：Ri + 相关工具定义，迭代执行
      ↓ 只回传结果 Oi，工具轨迹丢弃
Collector（汇总者） 把 Oi 汇总后交回 Planner

这个结构的意义：底层的执行噪声不会污染高层的规划视野。

4.5 针对 Lost in the Middle 的六条具体对策

[citation:19][citation:27]

对策	做法
① 战略性排序	检索到 5 段，按 `[rank 1, rank 4, rank 5, rank 3, rank 2]` 排列——最好的放开头，第二好的放结尾，最不重要的塞中间
② 减少检索条目	用重排器只留 top 3–5，而不是堆 20 段。更少的噪声 = 更小的”中间”
③ 先压缩再放入	抽取出与问题相关的句子/事实，组装更紧的上下文
④ 多趟抽取	第一趟让模型逐篇独立抽取事实，第二趟再综合——逐篇处理时不存在位置偏置
⑤ 关键事实两端重复	同一个关键事实同时放开头和结尾，顺着 U 形曲线走而不是对抗它
⑥ 指令放在两端	把问题在上下文顶部和底部都写一遍，把证据夹在中间

4.6 残留风险与正确的心态

提醒	说明
更大的窗口不是解药	测过百万 token 的模型，准确率依然随长度下降。窗口是余量，不是”不用管了”的许可证[citation:22]
压缩也可能坏事	丢掉一个关键决策的摘要，比不做摘要更糟。先调召回率，再调精确度[citation:22]
提示缓存不解决注意力稀释	缓存省的是钱和时间，不改变自注意力的物理特性[citation:23]
工程目标是”最小充分上下文”	不是”最大可能上下文”[citation:22]

五、痛点四：长任务不可靠——误差会复合

这是企业级 Agent 落地的头号杀手。

5.1 现象：基准分数很高，生产环境很惨

斯坦福 2026 AI Index 里最扎心的一组对照[citation:3]：

基准侧：
    WebArena   15% (2023) → 74.3% (2026初)   人类 ~78%，差 4 个点
    OSWorld    12% (2023) → 66.3% (2026初)   人类 ~72%，差 6 个点

生产侧：
    约 3/4 的企业报告【两位数】的 Agent 失败率
    其中 1/3 超过【25%】

为什么会这样？ 三组具体原因[citation:3]：

① 误差是乘性复合的

步数	单步成功率 95% 时的整体成功率
1 步	95%
10 步	60%
20 步	36%

而真实情况更糟：OSWorld 的任务分布偏重 10 步以内的工作流，但生产环境需要自动化的流程常常要 30 步以上。G2 的调研发现 68% 的已部署 Agent 在执行不到 10 步时就需要人工介入[citation:3]。

② GUI 落地与”操作常识”缺失

即使在 OSWorld 上拿到 66.3%，Agent 仍会点错坐标、认错当前哪个窗口在前台，并且缺少应用级的语义常识——“这个 CRM 的保存按钮藏在三点菜单里""日期选择器不接受 ISO 格式""导出任务是异步的，成功弹窗 4 秒后消失”。这些人类一周就学会的东西，模型不会[citation:3]。

③ 长程状态丢失

Cleanlab 2025 年的生产数据显示：CRM Agent 的目标完成率低于 55%，即使每一步都在能力范围内——因为 Agent 忘了自己做过什么、重复执行已完成的动作、或者跳过了之前决定延后的步骤[citation:3]。

5.2 失败模式的完整分解

[citation:6]

失败类型	占比	典型表现
工具调用错误	~28%	调错工具、参数不匹配、违反 schema、下游 API 报错
记忆与状态问题	~22%	遗忘上下文、状态过期、子 Agent 状态冲突
未处理边缘情况	~18%	分布外输入、陌生 UI 元素、地区差异
幻觉	~12%	自信的错误输出
超时 / 失控循环	~9%	卡在反复重规划或反复调工具
认证与权限	~6%	跨系统的身份边界失败

记忆与状态问题的细分（这是最少被公开讨论的一类）[citation:6]：

子类	占比
上下文窗口遗忘（长任务后忘了对话早期的事实）	~38%
工具结果过期（依据已变化的缓存结果行动）	~22%
跨会话状态分歧（不同会话里计划互相矛盾）	~18%
多智能体状态冲突	~14%
RAG 检索陈旧（语料已更新但检索到旧分片）	~8%

5.3 落地的真实难度：Pilot 到生产的死亡率

两组数据可以对照着看[citation:6][citation:9]：

指标	数值
Agent 试点在投产前停滞	60–72%（BCG/McKinsey/IDC 2026 快照）
另一组更保守的估计	86–88%
已投产的 Agent 在 12 个月内被弃用	35–45%
高管称已部署 Agent，但真正规模化投产	97% vs 12%
有成熟治理模型的企业	仅 21%（Deloitte，3200+ 位领导者）
成功投产的平均周期	5–9 个月

按用例看的停滞率[citation:6]：

用例	停滞率	主要障碍
销售 SDR / 外呼	~78%	线索质量误判、品牌安全事件
客服（Tier 2+）	~68%	边缘情况路由错误、升级摩擦
招聘寻源	~75%	合规、候选人体验事故
浏览 / 网页研究	~72%	反爬拦截、任务定义含糊
自主修代码	~62%	PR 接受率、违反内部规范
IT 内部帮助台	~52%	知识库覆盖缺口、权限边界
内部分析	~45%	风险低、工具集有界
纯 RAG 问答（严格说不算 Agent）	~28%	最低——它更接近传统聊天机器人

这张表本身就是一个选型建议：越”不像 Agent”的方案，失败率越低。

5.4 解法：三个被数据验证的模式

[citation:6]

模式	效果
① 窄范围、单一职责	只做一件事的 Agent（订会议、总结工单、提 JIRA）成功率是”用户要啥就做啥”型 Agent 的 3–5 倍
② 人在环检查点	在后果严重的步骤（发邮件、付款、部署代码）暂停等确认，存活时间是全自动版本的 2–3 倍
③ 持续评测基础设施	同时交付回归测试集与生产轨迹回放的团队，能及早发现能力退化；没有的团队弃用率高 2 倍

工程侧的三层记忆架构[citation:22][citation:18]：

层级	存什么	放哪
工作记忆（Working）	当前步骤的活动上下文、草稿板	上下文窗口内
情景记忆（Episodic）	本次任务/历史会话发生过什么	外部笔记或日志，Agent 可重读
语义记忆（Semantic）	持久可查的事实、偏好、文档	向量库或图库，按需检索

经典设计（MemGPT）把这个类比为操作系统的虚拟内存：模型自己在”小的上下文层级”和”大的外部层级”之间分页搬运[citation:22]。

5.5 残留风险

误差复合是数学规律，不是工程能消除的。只能靠”减少步数”和”关键步人工确认”来降低[citation:3]；
试点失败的主因是组织性的，不是技术性的——被当成 demo 来建、没有事先定义”什么叫够好”、治理介入太晚、把 Agent 装在破损的流程上、上线后没有 owner、可靠性从未被测量[citation:9]；
一个可操作的判据：一个在开始前不能用一句话说清”毕业标准”的试点，大概率毕不了业[citation:9]。

六、痛点五：知识不会自己更新

6.1 现象：所谓”持续学习”，大部分是营销话术

一个尖锐但准确的批评[citation:25]：

厂商讲的”持续学习”，在 2026 年其实是外挂存储技巧套在静态神经网络权重上。模型发布后权重就固化了，你跟它说话不会改变任何一个参数。所谓学习 = 巨大的上下文窗口 + 向量库 + RAG。这就像说”你的浏览器因为开了 20 个维基百科标签页就学会了物理”——关掉标签页，知识就没了。

而且长上下文是昂贵的租金，不是记忆：

每次 API 请求都要在数百万缓存 token 上算两两关系；
KV Cache 显存占用以 GB 计；
花 15 美元只为提醒一个静态模型”你十分钟前上传过的内容”，是真实会发生的事[citation:25]。

6.2 根因：灾难性遗忘

这是神经网络的老问题。想让模型学新东西又不忘旧的，会遇到稳定性 vs 可塑性的残酷权衡[citation:25]：

一个具体的失败案例：拿 Qwen2.5-72B 或 Llama 3.3-70B，用在线梯度把公司内部日志和 bug 报告流式灌进损失函数。即使只用 LoRA（冻结底座、只训低秩矩阵），第二天在 MMLU-Pro 或 HumanEval 上评估——数学推理和代码逻辑稳定掉 14%。新梯度会覆盖掉底座模型赖以获得推理能力的高维几何结构。

结果：用广泛的智能换了极窄的记忆。[citation:25]

这就是为什么超大规模厂商在生产环境保持模型权重冻结，微调仍然是昂贵、离线、带严格验证的批处理[citation:25]。

6.3 当前的解法

路线	做法	成熟度
RAG（事实外部化）	知识放库里，用时检索	✅ 生产标准
定期重训 / 增量微调	离线批处理 + 验证套件	✅ 但昂贵
上下文注入	把新知识直接塞进窗口	✅ 但昂贵且易腐烂
持续学习研究	见下	🔬 研究中

2026 年持续学习的研究进展（都在论文阶段）[citation:21]：

方法	思路	报告效果
SST（子空间稳定训练，CMU）	把优化步骤投影到每个权重矩阵主奇异子空间的补空间上——保护旧知识的关键方向不被扰动	近零遗忘（仅约 1 点损失），支持跨域累积顺序微调
SFA（顺序微调 + 平均，Harvard/Google DeepMind）	最简单的周期参数插值，居然优于复杂的重放与自适应合并方案，且训练时间显著更少	无需重放、无需辅助目标
CoDe-LoRA	双分支 + 自适应零空间投影 + 语义路由	零遗忘 + 更好的前向迁移
Monarch-MoE	结构化低秩专家 + 块对角因子，提供块级梯度隔离	适配器参数减 ~75%，首任务遗忘低至 0.52 点
CiMEO	用梯度归因定位功能化子网络，把训练样本路由到对应子网络	显著减少干扰

6.4 残留风险

上述方法全部是论文阶段，尚无大规模生产验证；
RAG 解决的是”查得到”，不是”学会”——模型不会因检索而获得新的推理能力；
知识截止日与数据陈旧仍是硬约束，需要靠工程流程（语料更新 + 重训/重嵌入）来兜。

七、痛点六：看不准、算不对——感知与计算的硬伤

7.1 计算：软肋明确，解法明确

本系列第四篇详细讲过，这里只给结论：

	说明
根因	数字被分词器切碎 + 每一步都是概率预测而非确定性计算
解法	工具集成推理——模型负责”算什么、按什么顺序算”，代码解释器负责”算准”
效果	ReTool 消融：RL 贡献 26 个百分点，代码解释器再贡献 27 个百分点（详见本系列第四篇）

一个务实的分层：要求答案必须精确 → 走代码；需要模型想清楚算什么 → 用推理模型。

7.2 视觉感知：这是真正没解决的一块

2026 年出现了几个专门的感知评测，结果相当不客气[citation:30]：

PerceptionBench（Moonshot AI，3000 个任务 / 10 个视觉技能域）：

模型	准确率
GPT-5.6 Sol	59.7%
Kimi K3	58.5%
Claude Fable 5	57.2%
Gemini 3.1 Pro	56.2%
Qwen3.5-397B-A17B（开源）	47.5%
GLM-4.6V（开源）	32.5%

商用顶级 API 与领先开源权重之间差 27.2 个百分点。而在所有 16 个被测系统中，“幻觉”是最弱的视觉子域[citation:30]。

BabyVision（测幼儿级基础视觉能力）：Gemini 3 Pro 49.7%，人类 94.1%——差 44.4 个百分点。任务包括描连续线条、数被遮挡的积木[citation:30]。

**李飞飞团队 2026 年的论文《海市蜃楼：视觉理解的幻觉》**给了一个更刺眼的实验[citation:33]：

把图片从数据库里彻底删除，只留下那个作为摆设的标签，多模态大模型依然能准确编出一段长达两百字的画面分析。模型凭空”看见”的准确率，维持在原有的七到八成。

7.3 根因：语言化瓶颈

研究者把这个持久缺陷归因于一个根本性表征问题[citation:30]：

当前的视觉-语言架构把连续的像素输入压缩成离散的文本 token 再处理。视觉空间信息在被翻译成语言 token 的过程中，丢失了结构保真度和空间粒度。

换句话说：Token 化丢弃了视觉推理所依赖的空间几何。

李飞飞的三类模型划分也指向这里[citation:33]：

类型	说明	现状
渲染器	把 2D 转成 3D 的演示级应用	市面上被包装成”空间智能”的多数属于这类
仿真器	真正理解”物体在空间中如何存在、如何互动”的物理引擎	行业真正缺乏、也最难攻克的缺口
规划器	在仿真器之上做行动规划	依赖前一层

7.4 当前能做的与不能做的

能做的	不能做的（2026 年）
工具接管精确计算（100% 准确）	让模型凭视觉 reliably 做空间推理
置信度校准让模型”知道自己没看清”（见第三章）	消除视觉幻觉
用 PerceptionBench 这类基准筛选模型	从架构上根治语言化瓶颈

一个务实的提醒：在模型能可靠识别表盘上的指针、或不凭空生成不存在的物体之前，把它们部署在真实视觉环境里仍是高风险行为[citation:30]。

八、痛点七：成本与延迟——能力的代价

8.1 问题的形状：输出比输入贵 5 倍

模型	输入 / 百万 token	输出 / 百万 token	倍数
GPT-5	$4	$20	5×
Claude Opus 4.8	$18	$90	5×
Claude Sonnet 4.6	$3	$15	5×

[citation:34]

这意味着：缩减输出长度的收益是不成比例的。一段用散文写的回答（“我识别出三类：1. …”）比等价 JSON 多花 2–3 倍 token[citation:34]。

而推理模型更贵——思考 token 通常让输出成本翻 4–10 倍[citation:34]。

8.2 解法一：路由与级联（最大的单一杠杆）

核心思路：把每个请求发给能搞定它的最便宜的模型。

成本数学[citation:28]：

流量类型	占比	路由前	路由后
简单查询	80%	$0.03	$0.001
复杂查询	20%	$0.03	$0.03
分类器开销	100%	—	$0.0002
混合成本		$0.03	$0.007

降幅 76%，实践中常达 80–90%（因为简单查询占比常常超过 80%）[citation:28]。

一个真实生产案例[citation:34]：

级联逻辑：小模型先答并自评置信度（0–1）
        → 高于阈值直接返回
        → 低于阈值升级给大模型

实测分布：71% → Haiku，24% → Sonnet，仅 5% → Opus
单请求成本：$0.0019（原本全走 Opus 是 $0.024）
降幅：92%
用户满意度：在 5000 条对话的留出集上【可测量地相当】

三种架构模式[citation:28]：

模式	做法	复杂度
二元路由	分类器判简单/复杂，分派给小模型或大模型	低，一下午能搭完
多层路由	三层：微模型（50%）→ 中模型（30%）→ 旗舰（20%）	中
置信度升级	小模型先答，置信度 < 0.85 就升级	中（升级的查询会有额外延迟）

⚠️ 四条质量护栏[citation:31]：

绝不静默——路由分不出类必须有默认路径；
风险升级——法律、医疗、高利害查询不管预测难度如何都走旗舰或人工；
跟踪路由准确率——定期抽样验证，坏路由会静默地吃掉质量；
从简开始——先用长度、关键词、任务类型的规则吃下大部分收益，训练路由器是后面的优化。

一条硬要求：没有至少 500 条覆盖全难度范围的离线评测集，不要上级联——否则你没法调阈值，第一封投诉邮件就会让你退回到贵模型[citation:34]。

8.3 解法二：其他四个降本杠杆

杠杆	做法	效果
硬上限 max_tokens	如果只生成两句摘要，就设 120 而不是 4096	给最坏情况封顶。见过失控循环生成 8K token 的重复道歉[citation:34]
结构化输出 / JSON 模式	消除”散文税”	输出 token 省 2–3 倍[citation:34]
不需要时禁用思维链	分类/抽取任务关掉 extended thinking	省 4–10 倍输出成本[citation:34]
批处理 + 提示缓存叠加	批处理通常 50% 折扣，与缓存折扣叠加	缓存部分约 1 折，叠加后输入的约 5%[citation:34]

上下文工程同时也是成本杠杆[citation:22]：

更小的上下文 = 每轮更少的输入 token，而 Agent 每一步都要重发上下文，节省是乘性的；
保持前缀稳定 → 命中提示缓存（主流厂商缓存部分折扣约九成）；
实践规则：长且稳定的内容放前面，会变的内容放最后——因为缓存按前缀字节命中，前面一改，后面全失效[citation:22]。

8.4 残留风险

路由本身有误判成本，需要持续监控；
压缩与缓存不能改变注意力的物理特性——省钱不等于变准[citation:23]；
降本与质量之间存在真实权衡，必须用离线评测集量化，不能凭感觉。

九、痛点八：安全——提示词注入是架构级问题

9.1 为什么它在 Agent 时代被放大

提示词注入（Prompt Injection） 在 OWASP LLM 应用 Top 10（2025）中位列第一[citation:32]。

本系列第三篇讲过一个架构层面的根源：当一切都是 token 时，系统指令（控制平面）与用户数据（数据平面）之间不再有物理边界。对注意力头而言，开发者的系统提示与用户输入的外部文档（可能含恶意指令）是同等的上下文 token——传统计算机体系依赖这两个平面的物理隔离，而在 token 主导的 Transformer 里，这个边界彻底消亡。

这导致一个必然结论：Agent 把语言模型的推理能力与”真实世界行动能力”结合了起来，威胁模型与传统软件安全根本不同[citation:29]。

9.2 威胁清单与对应护栏

[citation:32]

威胁	表现	典型护栏
提示词注入	用户输入或检索文档里藏着覆盖系统提示的指令	输入端提示攻击分类器
越狱	角色扮演或对抗性提示绕过安全机制	输入端越狱分类器
PII 泄露	邮箱、电话、身份证号出现在提示、日志或回答中	PII 检测 + 脱敏
密钥泄露	API key、token、私钥被粘贴进提示或被工具返回	凭证模式扫描器
不安全的工具动作	Agent 用有害或越权的参数调用工具	工具调用参数检查
有害内容	仇恨、暴力、自残、色情内容	输出端内容安全分类器

9.3 七层纵深防御

[citation:29]

层	做法
1. 最小权限	只授予 Agent 完成任务所必需的工具，工具调用白名单，禁止运行时创建工具
2. 清晰的信任边界	系统提示与外部内容严格隔离，外部内容先消毒再给模型（剥离 HTML 注释、隐藏文本）
3. 输入检测	提示词注入检测（启发式 + LLM 分析 + 向量相似 + 金丝雀 token）
4. 输出校验	结构化输出验证、URL 白名单、检测编码/Base64 外泄
5. 人在环	不可逆或高影响动作（发邮件、删文件、付款）必须人类显式确认——这是对抗注入最有效的防线之一，因为即使注入成功也完不成
6. 监控与异常检测	记录全部工具调用，监控异常序列（如”读文件后紧接着外部 HTTP 请求”）
7. 限流与熔断	限制单会话动作数、外部请求数、数据传输量；检测到异常即熔断

📖 金丝雀 token（Canary Token）：在系统提示里埋一个秘密标记。如果这个标记出现在输出里，就说明发生了注入泄露——类似在文档里埋一个只有自己知道的假条目来抓内鬼。

主流工具[citation:29][citation:32]：Rebuff（注入检测）、NeMo Guardrails（话题/安全/对话rail）、Guardrails AI（输出结构校验）、LLM Guard（PII/毒性/注入扫描）。

执行位置很重要[citation:32]：

位置	覆盖	一致性
应用内库	只有引入并配置的服务	每个仓库各写一套，会漂移
托管检测 API	每个调用点	中央策略，但依赖调用方
AI 网关	所有经过的 LLM 与 MCP 流量	一套规则覆盖所有团队与供应商

一个现实问题：聊天助手、编码 Agent、批处理流水线如果各自由三个团队配置三套护栏，策略必然漂移。在网关层统一执行可以消除这种漂移。

9.4 残留风险

必须诚实：提示词注入无法根除。业界共识是按”假设已被突破”来设计[citation:29]：

纵深防御——没有任何单一控制是充分的；
绝不信任外部内容——每个网页、邮件、文档都是潜在攻击向量；
设计时就假定注入会成功，然后限制它能造成的损害。

十、总结：总表、落地清单与三个判断

10.1 八大痛点总表

#	痛点	关键数字	根因	业界主流解法	状态
①	幻觉	通用 15–30%，RAG 后 <5%；法律 69–88%	训练奖励”合理”而非”真实”；无弃权激励	RAG + 引用校验 + 允许弃权 + 验证链	缓解到阈值以下
②	过度自信	自评 88% vs 实对 79%；多模态图像加噪置信度不动	RLHF 偏好自信回答；标准 RL 主动损害校准	RLCR（Brier 奖励）、置信度感知推理	刚起步
③	上下文腐烂	多跳推理在 100k+ 下降 25–45%；中间位置被忽略	位置偏置是 Transformer 的结构性产物	上下文工程（写入/选择/压缩/隔离）	需持续管理
④	长任务不可靠	95%^10=60%，^20=36%；3/4 企业两位数失败率	误差乘性复合；操作常识缺失；状态丢失	窄范围 + 人在环 + 持续评测 + 三层记忆	工程为主
⑤	知识不更新	在线微调致通用能力 -14%	灾难性遗忘 / 稳定性-可塑性权衡	RAG + 离线重训；持续学习在研	未解
⑥	看不准算不对	BabyVision 49.7% vs 人 94.1%；PerceptionBench 最高 59.7%	数字分词碎片化；视觉的”语言化瓶颈”	计算→工具；感知→无解	部分解
⑦	成本与延迟	输出价格是输入 5×；思考 token 再翻 4–10×	能力是拿算力买的	路由级联（省 76–92%）+ 缓存 + 结构化输出	工程成熟
⑧	安全	提示词注入居 OWASP LLM01	控制平面与数据平面无边界	七层纵深防御 + 人在环 + 网关统一	无法根除

10.2 一份务实的落地清单

如果你正在把一个 LLM 应用推向生产，按重要性排序：

第一优先级（不做会出事）

答案必须有据可依（RAG），并要求引用
明确允许模型说”我不知道”，并在后处理里检查
输出做结构化校验（schema）再交给下游
不可逆动作（发邮件、付款、部署）必须人工确认
外部内容（网页/文档/邮件）先消毒再入上下文
工具调用参数按 schema 校验后再发送

第二优先级（决定能不能长期跑）

建立至少 500 条、覆盖全难度范围的离线评测集
上线回归测试与生产轨迹回放
上下文做主动管理：压缩、选择、隔离
工具定义动态注入，上下文里只放 5–8 个
路由/级联降本，但配好质量护栏
硬上限 max_tokens；不需要时关掉思维链

第三优先级（决定能跑多远）

范围收窄到”一件事”
三层记忆架构（工作 / 情景 / 语义）
监控幻觉率、路由准确率、工具失败率
监控置信度-正确率的校准度

10.3 三个判断

判断一：瓶颈已经从模型转移到了模型周围的东西。

2026 年最有代表性的一句话是：“大多数 Agent 失败不再是模型失败，而是上下文失败。“[citation:26] 同样是 SWE-bench 80%+ 的模型，套上不同的脚手架，成功率差异巨大[citation:26]。

这意味着：买更强的模型，边际收益正在下降；把上下文、工具、记忆、评测做扎实，边际收益正在上升。

判断二：所有痛点的解法都是”缓解”，没有一个是”消除”。

常见说法	实际情况
“上了 RAG 就没有幻觉了”	只解决忠实性一种；检索差了会更糟；引用本身也能伪造
“上下文窗口够大就不用管了”	百万 token 模型准确率照样随长度下降
“模型够强就能做 Agent”	误差复合是数学规律，10 步 95% 只剩 60%
“模型能持续学习”	权重是冻结的，那是检索不是学习
“装上护栏就安全了”	注入无法根除，只能按”假设已被突破”来设计

判断三：真正稀缺的不是更强的模型，而是”知道什么时候不该信它”。

把全文串起来看，会发现很多痛点其实指向同一件事：

幻觉的根因之一 → 没有弃权激励；
过度自信 → 置信度与正确率脱钩；
上下文腐烂 → 不知道哪些信息其实没被看到；
视觉幻觉 → 没看清却照样自信作答；
Agent 失败 → 不知道自己已经偏离了。

而 2026 年最有价值的那些进展——RLCR 的 Brier 奖励、CA-TTS 的置信度调度、上下文工程的主动管理、人在环检查点——本质上都在做同一件事：让系统具备”我不确定”这个信号，并为这个信号设计处理路径。

一句话总结：大模型现在最缺的，不是再多一点知识，而是知道自己的边界在哪里；而业界正在补的，也不只是模型能力，是一整套”识别不确定 → 升级 → 人工兜底”的工程体系。

附：本文关键来源说明

类型	来源性质	使用原则
幻觉率与缓解效果	Stanford AI Index 2026、Vectara HHEM 榜单、行业分析[citation:1][citation:4][citation:7][citation:10]	区分忠实性与事实性，标注测量口径差异
过度自信与校准	UC Berkeley LifeEval、MIT CSAIL RLCR、浙大 CVPR 2026[citation:5][citation:8][citation:11]	论文结论直接采用，效果数字标注为论文自报
上下文腐烂与工程	行业技术文档与综述[citation:18][citation:19][citation:22][citation:23][citation:26][citation:27]	直接采用
Agent 落地失败率	生产事故统计、BCG/McKinsey/IDC 快照、Stanford AI Index 2026[citation:3][citation:6][citation:9]	不同来源口径差异较大，已分别标注
持续学习	论文综述与行业评论[citation:21][citation:25]	标注为论文阶段，未大规模验证
视觉感知	PerceptionBench / BabyVision / WorldVQA 数据[citation:30]、李飞飞团队论文报道[citation:33]	标注为评测自报
成本优化	工程实践与案例分析[citation:28][citation:31][citation:34]	标注为案例口径，未独立复现
安全	OWASP LLM Top 10、NIST AI 600-1、护栏工具文档[citation:29][citation:32]	直接采用

⚠️ 本文事实截至 2026 年 10 月 26 日。特别提示两点：

Agent 落地失败率的各家口径差异很大（60–72% 与 86–88% 来自不同机构的不同定义），跨来源比较需谨慎；

所有”某方案带来 X% 提升”的数字，除标注为第三方统计外，多为方案提出方自报，未独立复现。