Transformer 如何统一 NLP、CV、语音与多模态：一场"万物皆可序列化"的架构革命

零、先读懂 12 个关键术语

后文会反复出现这些词。这里先给一句话解释 + 一个类比，正文不再重复。

术语	一句话解释	类比
token（词元）	模型处理数据的最小单位。文本里约等于”字词片段”，图像里是”小块”，音频里是”一小段声音的编号”	乐高积木的最小颗粒
token 化（Tokenization）	把任意数据（文字/图像/声音）切碎并编号，变成一串数字 ID 的过程	把一段连续视频切成一帧帧并编号
嵌入（Embedding）	把每个 token 的编号变成一个可计算的数字向量	给每个积木块标注材质、颜色、尺寸
Patch（图像块）	图像被切成的固定大小小方块（如 16×16 像素），每个 patch 就是一个视觉 token	把一张照片裁成若干邮票
梅尔频谱（Mel Spectrogram）	声音的”照片”：横轴是时间、纵轴是频率、亮度是能量。语音模型几乎都先把波形转成它	声音的声纹照片
潜变量 / Latent	原始数据被压缩后的紧凑表示。在高维像素空间直接生成太贵，所以先压缩再生成	不直接雕大理石，先做小样
扩散（Diffusion）	生成图像/视频的主流方法：先加噪声把图”毁掉”，再训练模型一步步把噪声去掉还原出图	从一团雪花里慢慢擦出一个图案
流匹配（Flow Matching）	扩散的改良版：不走弯曲的随机路线，直接学一条从噪声到数据的”直线”，步数从几百降到几十	醉汉随机游走 → 导航直线规划
自回归（Autoregressive）	一次生成一个 token，每个新 token 依赖前面所有已生成的。文本生成的基本方式	一个字一个字往外写
掩码（Mask）	规定”谁能看谁”。因果掩码：只能看前面（生成用）；双向掩码：前后都能看（理解用）	考试时能不能回头看下一题
归纳偏置（Inductive Bias）	模型架构自带的”先验假设”。CNN 假设”局部相邻 + 平移不变”，Transformer 几乎不假设	厨师自带的烹饪直觉
全双工（Full-duplex）	语音交互中”能同时听和说”，用户可随时打断	打电话 vs 对讲机

---

一、统一的第一性原理：Transformer 只认”序列”

1.1 一句话答案

Transformer 对输入只有一个要求：一个向量序列。它对”这个向量代表什么”完全不关心。

回看注意力机制的公式：

Attention(Q, K, V) = softmax(QKᵀ / √d_k) · V

整个运算里没有任何一处假设”输入必须是文字”。它做的事情只有一件：在一堆向量之间两两算相似度，再按相似度加权汇总。

这意味着——只要你能把任何数据变成一串向量，Transformer 就能处理它。

1.2 统一的通用三步

所有模态接入 Transformer 的路径都是同一个模子：

graph TB
    subgraph S1["第 1 步：切块（Tokenize）"]
        T1["文字 → 字词片段"] --> D1["离散符号"]
        T2["图像 → 16×16 小方块"] --> D2["像素块"]
        T3["音频 → 25ms 一帧"] --> D3["频谱帧 / codec 码"]
        T4["视频 → 时空立方体"] --> D4["时空块"]
    end
    subgraph S2["第 2 步：嵌入（Embed）"]
        D1 --> E["线性投影成统一维度的向量"]
        D2 --> E
        D3 --> E
        D4 --> E
    end
    subgraph S3["第 3 步：加位置（Position）"]
        E --> P["+ 位置编码<br/>告诉模型'你是第几个'"]
    end
    P --> TR["同一个 Transformer 骨干<br/>Attention + FFN + 残差"]
    TR --> O["输出"]

这三步是全篇的总纲。 后面每个章节讲的，本质上都是”这一步在这个模态上具体怎么做、有什么坑”。

1.3 为什么是 Transformer 而不是 CNN/RNN 完成了统一

架构	它对输入的假设	统一的障碍
CNN（卷积网络）	输入必须是规则的网格（2D 图像），且假设”局部相邻最重要”	处理不了变长文本、处理不了 1D 音频的长期依赖；视频是 3D 网格，卷积核要重新设计
RNN（循环网络）	输入必须是严格有序的序列，且必须串行处理	图像没有天然”顺序”；且串行太慢，撑不起图像/视频的 token 量
Transformer	只要求是集合/序列，对结构无假设	✅ 无结构性障碍

一句话：CNN 假设了”空间”，RNN 假设了”时间”，而 Transformer 什么都没假设——正是这份”空白”，让它成了通用容器。

这个结论在 CV 领域有个很实在的佐证：ViT 和现代 CNN 在 ImageNet 上精度其实差不多，但 ViT 仍然赢了整个视觉领域[citation:13]。原因不是更准，而是——

ViT 输出的是”和文本同格式的 token 序列”。把图像 token 和文字 token 拼在一起、丢进同一个 Transformer，是 trivially 简单的事。[citation:13]

统一不是靠精度赢的，是靠”接口兼容”赢的。

---

二、NLP：最自然的原生主场

2.1 为什么文本最容易

文本有一个其他模态都没有的天赋：它天生就是离散符号序列。

"猫坐在垫子上"
  ↓ 分词（BPE，字节对编码）
["猫", "坐", "在", "垫", "子", "上"]
  ↓ 查表编号
[8721, 3310, 992, 5501, 2210, 33]
  ↓ 嵌入
[(512维向量) × 6]
  ↓ + 位置编码
直接进 Transformer

不需要”切块”（字已经是块），不需要”压缩”（符号本身就是离散的）。NLP 是唯一一个”第 1 步几乎免费”的模态。

2.2 NLP 侧的四个核心实现要素

要素	具体做法	为什么
① 分词器（Tokenizer）	BPE（字节对编码）：把高频字符组合并成一个 token。现代词表 5 万–25 万	平衡词表大小与序列长度。中文 1–2 字 ≈ 1 token，英文 1 词 ≈ 1–2 token
② 掩码策略	因果掩码（Causal Mask）：位置 i 只能看 ≤ i	保证自回归生成时”不偷看答案”
③ 架构选型	Decoder-only 是绝对主流（GPT、LLaMA、Qwen、DeepSeek）	预训练目标（续写）与真实任务（生成）同构；KV Cache 推理最高效
④ 训练目标	下一个 token 预测（Next Token Prediction） + 交叉熵损失	目标简单、可无限扩展数据、Scaling 曲线平滑

2.3 NLP 的三个”特权”

1. 语义密度最高：一个文本 token 承载的信息量，远高于一个图像 patch 或一帧音频。这也是为什么同样”智能水平”，纯文本模型的参数效率看起来更高。
2. 无损离散化：文字本来就是符号，token 化不丢信息。图像切块会丢边界细节，音频 codec 压缩会丢音质。
3. 序列长度最友好：日常对话几千 token，长文档几十万。而一张 1024×1024 图像就是 256–4096 个 token[citation:12]，一分钟视频可达数十万。

一句话：NLP 是 Transformer 的”母语”。其他模态的工作，本质上都是在想办法”翻译成这门语言”。

---

三、CV：把图像切成”方块字”

3.1 ViT 的核心一招：Patch 化

2020 年 ViT（Vision Transformer）的关键洞察极其朴素：

既然文字是”词的序列”，那图像也可以是”方块的序列”。

输入：224 × 224 × 3 的图像
  ↓ 切成 16×16 的小方块
14 × 14 = 196 个 patch
  ↓ 每个 patch 展平：16×16×3 = 768 个数字
  ↓ 线性投影到 d_model 维
196 个向量
  ↓ + 位置编码（告诉模型"你在第几行第几列"）
  ↓ 追加 [CLS] 分类 token
进标准 Transformer Encoder

这一步的意义：图像从”2D 网格”变成了”1D 序列”，从此和文本共享同一套处理管线。

3.2 CV 与 NLP 的三个关键差异

差异	具体表现	应对方案
① 位置是 2D 的	文本只有”第几个”，图像有”第几行第几列”	早期用可学习的 1D 位置编码（已被证明不够）；现代改用 2D RoPE——在行、列两个方向分别做旋转编码[citation:1]
② token 冗余度高	相邻 patch 高度相似（一片天空 = 几十个几乎一样的 token）	掩蔽建模（MAE）遮掉 75% 的 patch 再重建，正好适配这种冗余[citation:13]
③ 没有天然”顺序”	打乱 patch 顺序，图像的语义不会变成另一张图	位置编码是必需的而非可选的，且需要 2D 结构

3.3 2026 年的”现代 ViT”长什么样

ViT 2020 年的原始配方（LayerNorm + GeLU + 绝对位置编码 + [CLS] token），在过去六年被系统性升级。以 2026 年的 ViT-5 为代表[citation:5]，七大改动几乎全部是从 LLM 那边搬过来的：

组件	2020 ViT	2026 现代 ViT	作用
归一化	LayerNorm	RMSNorm	更快、更稳，LLM 已验证
位置编码	1D 可学习	2D RoPE（+ 保留部分绝对值）	能外推到未见过的分辨率
分类 token	[CLS]	GAP（全局平均池化）或 Register Token	[CLS] 被证明是浪费注意力的权宜之计[citation:1]
激活函数	GeLU	GeLU 保留（视觉上 SwiGLU 收益不明显）	与 LLM 不同，这里是”不照搬”
稳定性	—	QK-Norm（对 Q、K 做归一化）	防止注意力分数爆炸导致训练发散[citation:9]
残差缩放	—	LayerScale	深层训练稳定性
注意力	—	Register Token（寄存 token）	给模型一个”草稿区”，避免它把全局信息塞进无意义的背景 patch 里[citation:13]

Register Token 是一个特别有意思的发现：大模型会在少数毫无意义的背景 patch 上倾注巨量注意力——把它们当成”临时储物间”。这既毁坏了注意力图的可解释性，也伤害分割、深度估计这类”每个像素都要输出”的密集任务。解决办法反直觉：主动加几个不使用也不输出的空 token 当草稿纸。[citation:13]

3.4 ViT 规模的极限：22B 参数

ViT-22B 证明了”LLM 式的规模定律在视觉上同样成立”[citation:9]，并带来三个关键工程改动：

1. QK 归一化——被称为训练稳定的”秘方”，防止大模型的注意力 logits 爆炸成 one-hot 进而训练发散[citation:9]；
2. 并行层——把 Attention 和 MLP 从串行改并行，可融合线性投影，训练提速约 15%[citation:9]；
3. 去掉偏置项——QKV 投影与 LayerNorm 的 bias 全部移除，TPU 上硬件利用率提升约 3%[citation:9]。

三个涌现性质值得记住[citation:9]：

• 冻结即可用：完全冻结 ViT-22B，只在上面训一层线性分类器，ImageNet 就有 89.5%。规模足够大时，微调几乎不必要。
• 形状偏好 87%：小模型靠”纹理”认物体（猫 = 毛茸茸的图案），ViT-22B 靠”形状”，人类是 96%——规模让视觉模型更像人眼。
• 超强教师：用 22B 蒸馏出的小 ViT-B 达到 88.6%，是同尺寸的新纪录。

3.5 CV 领域的”非纯 Transformer”残余

诚实地说，CV 是统一最不彻底的一块，因为视觉任务有 Transformer 不自带的先验需求：

需求	原因	方案
多尺度	检测/分割需要不同粒度的特征（大物体和小物体）	Swin：窗口注意力 + 金字塔层级；ViTDet：纯 ViT 顶上加特征金字塔[citation:13]
局部性	中小数据规模下，纯全局注意力不如卷积高效	中等规模上，层级 + 局部窗口仍能高出 1–2 个百分点[citation:1]
高分辨率	检测任务输入常在 1000+ 像素，token 数爆炸	窗口注意力（只在局部窗口内算注意力，复杂度从 O(n²) 降到 O(n)）

结论：预训练用纯 ViT（赢在可扩展与接口统一），下游密集任务用层级结构（赢在效率与多尺度）。两者并存，不是谁淘汰谁[citation:13]。

3.6 CV 侧小结

要素	CV 的实现
token 化	Patch 化（16×16 或 14×14 切块 + 线性投影）
位置编码	2D RoPE（行、列双方向）
掩码	双向（理解任务）；掩蔽重建（MAE 预训练）
架构	Encoder 为主；生成任务用 DiT
预训练目标	分类监督 / MAE（重建被遮住的 patch）/ DINOv2（自监督特征）/ CLIP（图文对比）
与其他模态的接口	ViT 是 CLIP / LLaVA / Sora 等一切图文系统的视觉前端[citation:1]

---

四、语音：把声音变成”照片”，再变成序列

语音是最容易被误解的一块。很多人以为语音模型直接吃波形——实际上绝大多数先转成”声音的照片”。

4.1 第一层：梅尔频谱——声音的”照片”

梅尔频谱（Mel Spectrogram）：横轴是时间，纵轴是频率（按人耳听感非线性压缩成”梅尔刻度”），亮度是该时刻该频率的能量。

类比：波形图是”声音的 oscilloscope 曲线”，梅尔频谱是”声音的照片”。而一旦变成照片，就可以用 CV 的办法处理了。

这就是为什么业界有句俏皮话：“Whisper 就是一个吃梅尔频谱、然后说人话的 ViT。“[citation:2]

4.2 第二层：Whisper——语音领域的 Transformer 标准答案

Whisper（OpenAI, 2022）是 2026 年语音识别的事实基线[citation:10]。完整流程[citation:14][citation:2]：

① 重采样到 16kHz，切/补成 30 秒窗口
        ↓
② 算对数梅尔频谱：80 个梅尔通道，10ms 步长
   → 3000 帧 × 80 维   （这就是模型"看到"的图）
        ↓
③ 卷积主干：两层 Conv1D（kernel 3, stride 2）
   → 3000 帧压到 1500 帧   （减半序列长度，几乎不增参数）
        ↓
④ Transformer Encoder（large-v3：32 层 / 1280 维 / 20 头）
   → 1500 × 1280 的隐状态
        ↓
⑤ Transformer Decoder（32 层），带因果掩码 + 对 Encoder 的交叉注意力
   → 自回归吐出 BPE 文本 token（词表 51,865）
        ↓
⑥ 束搜索（beam size 5）输出文本

三个设计亮点：

设计	说明
任务 token 前缀	解码器开头拼 4 个控制 token：`<
弱监督海量数据	68 万小时互联网音频 + 现成字幕，覆盖 99 种语言。不需要音素标注、不需要干净语料[citation:14]
端到端，无外部组件	不需要声码器、不需要 CTC、不需要 HMM[citation:2]

Turbo 版本的工程取舍：把解码器从 32 层砍到 4 层，延迟降低 8 倍[citation:10]——因为解码是串行的，是延迟的主要来源。

4.3 第三层：从”语音转文字”到”语音进、语音出”

Whisper 只是 ASR（语音→文字）。真正的语音对话模型需要直接输出声音，这引入了一个 NLP 和 CV 都没有的新组件：语音 token 化。

语音波形是连续信号，不能直接当 token。业界用**神经编解码器（Neural Codec）**把音频压成离散编号，形成三条技术路线[citation:18][citation:28]：

路线	代表	特点	适合
语义 Token	Wav2Vec、HuBERT、Whisper 特征	只捕捉”说了什么内容”，丢掉语气情感	识别、翻译
声学 Token	SoundStream、EnCodec（RVQ 残差向量量化）	高保真重建，携带语气、风格、情感	语音合成
统一 Token	Mimi、SpeechTokenizer、X-Codec	兼顾语义与声学（常通过蒸馏把语义信息注入声学码本）	端到端对话

📖 RVQ（残差向量量化）：先用第一个码本粗略量化，再对”误差残差”用第二个码本量化，逐层逼近。像先用粗笔勾勒轮廓，再用细笔一遍遍补细节。

码率是核心指标（每秒多少个 token，直接决定序列长度与延迟）：

Codec	帧率	特点
EnCodec（Meta）	75 Hz	早期代表
Mimi（Kyutai）	12.5 Hz，约 1.1 kbps	声学流从 WavLM 语义特征蒸馏而来，全双工友好[citation:20]
Qwen 语音 tokenizer	12.5 Hz，多码本	0 号码本承载语义，其余约 9 个声学码本由 MTP 模块逐帧补全[citation:20]
CosyVoice2	25 Hz	语义 + 声学双 token[citation:20]

降码率是语音模型的核心工程方向：75 Hz 意味着 1 秒音频 = 75 个 token，说 10 秒话就 750 个 token，LLM 根本吃不消；压到 12.5 Hz 才让”语音直接进 LLM”变得可行。

4.4 端到端语音对话的五种架构

业界把”文本生成”改成”语音生成”的写法，主流有五种[citation:20]：

架构	代表	做法
① Thinker-Talker	Qwen2.5/3-Omni	LLM 主干（Thinker）出文本，旁边挂流式语音模块（Talker）预测音频 token，再经 Code2Wav 卷积网络还原波形；两路共享 Thinker 的隐藏状态
② LLM 出语音 token + 流匹配解码	GLM-4-Voice、Kimi-Audio	语音 token 当普通语言 token 训练，解码端用 Flow Matching 模型还原
③ 文本与音频 token 交错	Mini-Omni、Chroma	一条序列里两种 token 按比例混排，训练配方最简单，天然能”边想边说”
④ 并行双流	Moshi	RQ-Transformer 同时建模”用户流”和”助手流”，文本流人为延迟几步当”内心独白”——开源界唯一成熟的原生全双工方案，理论延迟 160ms[citation:18]
⑤ 交互层与思考层分离	DuplexOmni、Freeze-Omni	轮次策略（什么时候该说/该停）与内容推理解耦

4.5 语音独有的三个硬约束

这是语音与 NLP/CV 最本质的差别：

约束	说明	后果
① 延迟是硬指标	人类对话可容忍的响应间隔约 200–300ms。GPT-4o 约 320ms，Moshi 160ms[citation:22]	不能先转文字再想再说（级联方案会累积三段延迟），必须端到端
② 副语言信息易丢失	级联方案（ASR→LLM→TTS）会把情绪、犹豫、反问、叹气、语调起伏、背景音全部清洗成扁平文本[citation:30]	端到端原生音频模型能捕捉笑声、颤音，并回以相应的声线[citation:30]
③ 全双工需要架构支持	真实对话中大脑不是”要么只听、要么只说”，用户会随时打断[citation:30]	需要双流建模 + 轻量回声消除 + 实时打断分类器，100ms 内截断当前生成[citation:30]

4.6 语音侧小结

要素	语音的实现
token 化	波形 → 梅尔频谱（理解侧）/ Neural Codec 离散码（生成侧）
位置编码	1D（时间轴），卷积主干先做时间下采样
掩码	Encoder 双向 + Decoder 因果 + 交叉注意力对齐音帧与文本
架构	Encoder-Decoder（ASR）；LLM + 语音 token 头（端到端对话）
训练目标	交叉熵（ASR）/ Flow Matching（声码还原）
硬指标	延迟与全双工，这是其他模态没有的

---

五、视频生成：DiT 与时空立方体

视频是 token 数量最恐怖的模态。先看数字：

1080p 视频，30fps，1 分钟
= 1920 × 1080 × 3 × 30 × 60 ≈ 33 GB

直接在像素空间建模完全不可行。所以视频生成有两个”必须先解决的工程前提”。

5.1 前提一：视频 VAE——先压缩 256–512 倍

VAE（变分自编码器） 把原始视频压进低维潜空间[citation:3]：

模型	空间压缩	时间压缩	总压缩比
Sora	8×	8×	高
Runway Gen-3	8×	4×	中
CogVideoX	8×	4×	潜通道 16
可灵 3.0	3D VAE	—	官方称达 200:1[citation:7]

压缩后，DiT 只在”缩略图”上工作，显存与算力需求下降 2–3 个数量级[citation:3]。这一步是视频生成能跑起来的绝对前提。

5.2 前提二：DiT——用 Transformer 换掉 U-Net

DiT（Diffusion Transformer，扩散 Transformer）：Peebles & Xie 于 2022 年提出，核心是把扩散模型里做去噪的卷积 U-Net，整个换成 Transformer[citation:3][citation:15]。

为什么 U-Net 在视频上撞了天花板？ 三个结构性限制[citation:15]：

1. 感受野有限：卷积只能看到局部邻域，难以建模跨帧的长程一致性；
2. 扩展性差：U-Net 的 Scaling 曲线远不如 Transformer 平滑；
3. 时空割裂：U-Net 为 2D 图像设计，处理 3D 视频需要重新设计卷积核。

DiT 的关键一招：时空 Patch（Spacetime Patch）[citation:3][citation:11]

视频 → 潜空间压缩 → 切成"小立方体"（空间 2D + 时间 1D）
     → 每个立方体展平成 token
     → 统一送进 DiT 做联合去噪

时空 Patch 统一了空间维（H×W）与时间维（T），使自注意力能同时捕捉空间纹理与时序运动——这就是”时空联合建模”[citation:3]。

5.3 DiT 的三个核心组件

组件	作用
① AdaLN-Zero（自适应层归一化）	把”当前去噪到第几步”的时间步信息、以及文本条件嵌入，注入到每一个 Transformer 块。是条件控制的关键通道[citation:3]
② 空间-时间分解注意力	不直接对全部 token 做全注意力（复杂度 O((HWT)²)），而是拆成”空间注意力”（单帧内纹理）+ “时间注意力”（帧间运动）交替堆叠，复杂度降为 O(HW·T + T²·HW)[citation:3]
③ 可扩展性	DiT 参数从 300M 扩到 3B+ 时，质量随算力呈幂律提升。这是 Sora 能从 64×64 短视频扩到 1080p 60 秒的架构基础[citation:3]

5.4 采样范式的升级：流匹配

传统扩散要几百步去噪。Flow Matching（流匹配） 把随机轨迹”拉直”：

	传统扩散（SDE）	流匹配（Flow Matching）
去噪路径	弯曲的随机轨迹	从噪声到数据的直线
模型预测	预测噪声	预测速度场
采样步数	数百到上千	10–50 步
类比	醉汉随机游走找回家	导航直线规划，一步到位[citation:3]

Sora、Gen-3、Veo、Movie Gen 均采用 Flow Matching 或其变体[citation:3]。进一步用一致性蒸馏，可以把多步教师模型压成单步/少步学生模型[citation:3]。

5.5 视频生成的三条路线之争

路线	代表	原理	优势	劣势
扩散	SVD	逐步去噪	画质高、训练稳	慢（50–100 步）[citation:11]
自回归	CogVideoX、部分 Seedance	把视频当”视觉 token 序列”逐帧预测	推理快、长程依赖好、可接 LLM	视觉保真度曾长期落后[citation:11]
DiT（扩散+Transformer）	Sora、可灵、Veo、Seedance	U-Net 换 Transformer + 时空 Patch	质量、一致性、可控性、Scaling 全面最优	需要大量算力

2026 年的格局：DiT 是绝对主线，可灵 3.0 单次可生成 180 秒视频[citation:7]，但自回归路线正在追赶，且两条线开始融合[citation:11]。

5.6 视频侧小结

要素	视频生成的实现
token 化	VAE 压缩 → 时空 Patch（先降维再切块，与图像相反）
位置编码	3D 时空位置编码（时间 + 行 + 列）
掩码	双向（去噪时看到全部 patch）
架构	DiT（Transformer 骨干 + AdaLN 条件注入）
训练目标	预测噪声 / 预测速度场（Flow Matching）
关键约束	token 数量，一切优化都围绕降 token

---

六、多模态：三种融合范式与 Any-to-Any

前面四章是”单模态怎么做”，这一章是”多模态怎么合”。

6.1 三种融合范式

当图文要进同一个模型时，核心问题是：在什么时机、用什么方式让两种模态交互？[citation:4][citation:12]

graph TB
    subgraph L["晚期融合 Late Fusion"]
        A1[图像] --> B1[独立视觉塔]
        A2[文本] --> B2[独立文本塔]
        B1 --> C1["各自压成一个向量"]
        B2 --> C1
        C1 --> D1["最后比相似度"]
    end
    subgraph M["中期融合 Cross-Attention"]
        E1[图像] --> F1[视觉编码器]
        E2[文本] --> F2[冻结的 LLM]
        F1 --> G1["插入 LLM 层间的<br/>Cross-Attention"]
        G1 --> F2
        F2 --> H1[输出]
    end
    subgraph E["早期融合 Early Fusion"]
        I1[图像] --> J1["Patch → 视觉 token"]
        I2[文本] --> J2["BPE → 文本 token"]
        J1 --> K1["拼成同一条序列"]
        J2 --> K1
        K1 --> K2["一个 Transformer 从头到尾"]
        K2 --> L1[输出]
    end

维度	早期融合	中期融合	晚期融合
代表	LLaVA、Qwen-VL、Fuyu、Chameleon	Flamingo、BLIP-2（Q-Former）	CLIP、SigLIP（双塔）
视觉信息进入时机	入口处就拼接	LLM 层间用 Cross-Attention	LLM 之后
LLM 是否冻结	通常微调	通常冻结	N/A
训练参数量	中（投影器 + LLM）	小（仅 Cross-Attn / Q-Former）	大（两塔都训）
融合深度	深（每层都交互）	中	浅（最后一步）
实现难度	低	高	中
视觉 token 数	受上下文预算限制	可压缩（Q-Former 压成固定数量）	固定（一个向量）
生成能力	强	强	弱（只能检索）
适合	图文对话、VQA	算力有限、保护 LLM 能力	检索、分类、向量库

6.2 2026 年的实际选择

一个明确的共识[citation:12]：

• 开源权重 VLM（视觉语言模型）：投影器 + 适配器（LLaVA 式）已凭”易用性”胜出。 图像经 ViT → 一个小投影层 → 变成”伪文本 token” → 和真文本 token 拼一起进 LLM。
• 前沿闭源模型：被认为是早期融合（GPT-4o、Gemini）——从底层就统一了 token 空间。
• 融合方式正在”混合化”：最新模型不严格属于单一范式。InternVL 以早期融合为主但编码器内部有 Cross-Attention；Qwen2-VL 用早期融合 + 动态分辨率（把视觉 token 重新组织，高分辨率图多给 token，简单图少给）[citation:4]。

工程选型建议[citation:4]：

你的情况	推荐方案
算力有限（单机 8 卡）	早期融合 + 小 LLM（7B）+ CLIP ViT-L
算力中等	早期融合 + 中 LLM（13B–30B）+ SigLIP-L
算力充足	早期融合 + 大 LLM（70B+）+ 大视觉编码器
需要保护 LLM 原有能力	中期融合（BLIP-2 式 Q-Former）
视觉 token 太多	中期融合 + Q-Former 压缩
只做检索/分类	晚期融合（CLIP 式双塔）

6.3 终局形态：Any-to-Any（任意模态到任意模态）

前面都是”多模态输入 + 文本输出”。真正的终局是：任意模态进，任意模态出。

方案 A：AR-Omni——纯粹自回归的统一[citation:19][citation:27]

中科大团队提出，7B 参数，目标是”架构纯粹性”：不依赖任何外部专家解码器（不用扩散模型生成图、不用独立声码器生成声音），单个 Transformer Decoder 用下一个 token 预测搞定文本、图像、语音三种模态。

三个支撑技术[citation:19][citation:27]：

技术	解决的问题
任务感知损失重加权	模态不平衡——语音序列长（token 多），会让损失被语音主导，文本学不好
Token 级感知对齐损失	视觉保真——标准交叉熵对所有错误 token 一视同仁，但图像 token 错了几个可能整张图结构崩坏。这个损失强制隐藏状态对齐到预训练图像嵌入空间的几何结构
有限状态解码机	稳定性与创造力的权衡——ASR/TTS 这类确定性任务用贪心解码，文生图用采样

一个诚实的发现：朴素地把多模态 token 混在一条序列里做下一个 token 预测，训练极易崩塌[citation:19]。必须配合残差后归一化和任务感知重加权才能收敛。

方案 B：原生 Any-to-Any 大模型

Thinking Machines 于 2026 年 7 月发布的 Inkling（约 1 万亿参数开放模型）是另一个方向[citation:21]：

• Decoder-only MoE，从零在 45 万亿 token（文本+图像+音频+视频）上训练；
• 无模态专用编码器、无投影层、无适配器——音频波形、像素、文本都是一等输入，在 token 嵌入层面直接处理；
• 1M 上下文，BF16 需 2TB 显存，NVFP4 版本 600GB。

6.4 极致统一的代价

把一切压成 token 流是有代价的，而且是一个容易被忽视的架构级安全问题：

当一切都是 token 时，系统指令（控制平面）与用户数据（数据平面）之间不再有物理边界。对注意力头而言，开发者设定的系统提示词与用户输入的外部文档（可能含恶意指令）被同等视为上下文 token 流的一部分[citation:25]。

传统计算机体系依赖控制平面与数据平面的严格隔离（这正是 SQL 注入攻击产生的根源——跨越了边界）。而在 token 主导的 Transformer 里，这个边界彻底消亡[citation:25]。

这导致隐写式提示词注入等深层安全问题——大模型在架构层面缺乏原生的权限分离机制[citation:25]。

6.5 多模态侧小结

要素	多模态的实现
token 化	各模态各自 token 化，映射到共享嵌入空间
融合时机	早期（拼序列）/ 中期（Cross-Attn）/ 晚期（双塔）
对齐方式	投影层（MLP）/ Q-Former / 共享词表
训练目标	图文对比（CLIP）/ 下一个 token（统一 AR）/ 多任务混合
核心难点	token 预算、模态不平衡、训练稳定性

---

七、共同点：统一的六层底座

把四个模态摆在一起，会发现它们共享一套完整的”六层底座”。这才是”统一”的真正含义。

7.1 底座一：统一的输入接口——“序列化三步”

模态	第 1 步：切块	第 2 步：嵌入	第 3 步：位置编码
文本	BPE 分词	查嵌入表	1D RoPE
图像	16×16 Patch	线性投影	2D RoPE
语音	梅尔频谱帧 / Codec 码	线性投影 / 查码本	1D（时间轴）
视频	VAE + 时空 Patch	线性投影	3D 时空
共同点	都变成”一串向量”	都投影到 d_model 维	都必须显式注入位置

7.2 底座二：统一的计算骨干

无论什么模态，核心块都是同一个：

x → LayerNorm/RMSNorm → Attention → +x（残差）→ FFN → +x（残差）

• Attention 负责”路由”：决定信息从哪里汇聚；
• FFN 负责”加工”：对每个位置已聚合的信息做非线性变换；
• 残差 + 归一化：保证可堆叠到极深。

这个结构在视觉、语音、视频上原封不动地被复用。 唯一被调整的是注意力本身的计算范围（全注意力 / 窗口注意力 / 稀疏 / 线性 / 时空分解）。

7.3 底座三：统一的训练范式

范式	说明	用在哪
自监督 / 下一个 token 预测	预测下一个（或被遮住的）token	NLP、统一 AR 多模态
掩蔽重建（MAE）	遮掉 75% 的 patch 再重建	CV[citation:13]
对比学习（CLIP）	图文配对拉近、不配对推远	多模态对齐
去噪 / 流匹配	从噪声中还原数据	图像/视频生成

四种目标看似不同，本质都是”制造一个可无限生成的监督信号”——不需要人工标注，就能吃下海量数据。这才是规模化的前提。

7.4 底座四：统一的条件注入接口

“在 A 的条件下生成 B”这个需求，在各模态上有三种实现，但思想一致：

方式	用在哪
Token 拼接	文本条件当普通 token 拼进序列（早期融合）
Cross-Attention	文本条件作为 K/V 被解码器查询（Whisper、Flamingo、Stable Diffusion 注入文本）
AdaLN-Zero	条件嵌入调制每一层的归一化参数（DiT 注入时间步与文本）[citation:3]

Cross-Attention 是跨模态条件注入的通用接口——这一条在语音（Whisper 解码器查音频）、图文（Flamingo）、文生图（Stable Diffusion）上完全一致。

7.5 底座五：统一的规模化规律

Scaling Law 在各模态上都成立，这是统一最有力的证据：

• NLP：参数从亿到万亿，能力平滑提升；
• CV：ViT-22B 证明”LLM 式规模定律直接适用于视觉”[citation:9]；
• 视频：DiT 从 300M 扩到 3B+，质量幂律提升[citation:3]；
• 多模态：45 万亿 token 的混合训练[citation:21]。

同一个”加大就变强”的规律在四种模态上都成立——说明它们确实在共享同一套学习动力学。

7.6 底座六：统一的工程栈

这是最容易被忽略、但对落地最关键的共同点：

层	共用的东西
算子	FlashAttention、融合 kernel
并行	张量并行 / 流水线并行 / 专家并行
推理框架	vLLM、SGLang、TensorRT-LLM
量化	FP8 / INT4 / NVFP4
加速	KV Cache、投机解码、MTP
硬件	GPU / TPU / NPU

一个团队只要打通了 LLM 的工程栈，就把 CV、语音、多模态的栈打通了 80%。 这才是”统一”在产业上最大的价值——它不是学术上的优雅，而是工程复用。

---

八、差异点：七个维度的逐项对照

8.1 总览大表

维度	NLP	CV	语音	视频生成	多模态
① 数据形态	离散符号	连续像素网格	连续波形（→频谱）	像素 + 时间序列	混合
② Token 化	BPE（无损）	Patch 切块（有损）	梅尔频谱 / Neural Codec（有损压缩）	VAE + 时空 Patch（大幅有损）	各模态各自化 + 对齐
③ token 数量级	10²–10⁶	10²–10⁴	10²–10⁴（12.5–75 Hz × 秒数）	10⁴–10⁶（最恐怖）	受上下文预算约束
④ 位置编码	1D RoPE	2D RoPE	1D（时间）	3D 时空	各模态各自 + 模态标识
⑤ 掩码	因果掩码	双向	Encoder 双向 + Decoder 因果	双向	混合（理解双向 / 生成因果）
⑥ 训练目标	下一个 token 交叉熵	分类 / MAE / DINO / CLIP	交叉熵 + Flow Matching	去噪 / 流匹配	对比 + 下一个 token
⑦ 架构选型	Decoder-only	Encoder（理解）/ DiT（生成）	Encoder-Decoder（ASR）/ LLM+语音头（对话）	DiT	早期融合为主流
⑧ 归纳偏置	几乎无	需要局部性 + 多尺度	需要时间局部性（卷积主干）	需要时空分解	需要模态对齐
⑨ 硬约束	长上下文	分辨率 / 密集预测	延迟 + 全双工	算力	token 预算
⑩ 评估方式	基准测试 / 人工	准确率 / mIoU	WER（词错误率）	FVD / 人工评分	多维度基准

8.2 差异一：Token 化的”有损程度”完全不同

这是最本质的差异，决定了各模态的技术难度：

文本：符号 → 编号            【无损】字面信息完全保留
图像：像素 → 小方块          【轻度有损】丢失精确边界、细微纹理
语音：波形 → Codec 码        【中度有损】码率越低，音质损失越大
视频：像素 → VAE → 时空块    【重度有损】压缩 256–512 倍才可能建模

这就是为什么视频生成比文本生成难得多：文本 token 化不丢信息，模型只需要学”语义”；视频 token 化丢掉了绝大部分信息，模型还得把丢掉的”补回来”。

8.3 差异二：序列长度跨越四个数量级

模态	典型 token 数	复杂度压力
一句话文本	20–100	可忽略
一篇长文	10 万	O(n²) 开始明显
一张 1024×1024 图	256–4096[citation:12]	图像 token 会吃掉大量上下文预算
1 分钟视频（压缩后）	数万到数十万	必须上时空分解注意力

长度差异直接决定了注意力机制的选择：

• 文本：全注意力（长度可控）；
• 图像高分辨率：窗口注意力（Swin）；
• 视频：空间-时间分解注意力（复杂度从 O((HWT)²) 降到 O(HW·T + T²·HW)）[citation:3]；
• 超长上下文：稀疏 / 线性注意力（见本系列第二篇）。

8.4 差异三：掩码策略反映”任务的本质”

任务性质	掩码	原因
理解（看懂、听懂）	双向	理解一句话当然要看到全句
生成（写、说、画）	因果	生成第 n 个时，第 n+1 个还不存在
去噪（图像/视频生成）	双向	去噪时整张图都在，只是”糊”，没有”未来”概念

一个有意思的观察：视频生成用的是双向掩码，而不是因果。因为它的”生成”发生在去噪步数维度（第 1 步→第 50 步），不是在 token 序列维度——所有 patch 从头到尾都在，只是一起被逐步擦干净。这是它与文本生成最根本的机制差异。

8.5 差异四：归纳偏置的”残留”程度不同

Transformer 的卖点是”无假设”，但各模态”被迫加回来的假设”多少不一：

模态	加回的假设	强度
NLP	几乎为零	⭐
多模态	模态标识、对齐约束	⭐⭐
CV	局部性（窗口注意力）、多尺度（金字塔）	⭐⭐⭐
语音	时间局部性（卷积主干先下采样）	⭐⭐⭐
视频	时空可分离（分解注意力）、VAE 压缩	⭐⭐⭐⭐

规律：数据的”结构”越强（网格、时序、三维），被迫加回的假设越多，统一得越不彻底。NLP 是纯粹的统一，视频是最”脏”的统一。

8.6 差异五：训练目标的本质分歧

目标	预测的什么	特点
下一个 token	离散符号的概率分布	可无限扩展数据，Scaling 平滑
去噪 / 流匹配	连续向量（噪声或速度场）	生成质量高，但需要很多步
对比学习	表示空间的远近	对齐效果好，但不能直接生成
掩蔽重建	被遮住的内容	利用冗余，预训练高效

当前的技术张力：自回归（统一、简洁、可接 LLM）vs 扩散/流匹配（质量高）。视频领域这两条线正在融合[citation:11]，多模态领域 AR-Omni 则在尝试用纯自回归统一[citation:19]。

8.7 差异六：性能瓶颈的位置不同

模态	瓶颈在哪	主优化方向
NLP	显存（KV Cache）	MLA / GQA / 量化
CV	分辨率 × token 数	窗口注意力 / 动态分辨率 / VAE
语音	延迟（端到端实时）	低码率 codec / 流式架构 / 双流全双工
视频	算力（token 最多）	VAE 压缩 / 分解注意力 / 少步采样
多模态	上下文预算（图像 token 挤占）	token 压缩 / Q-Former / 动态分辨率

8.8 差异七：成熟度和标准化程度不同

客观评价：

模态	成熟度	说明
NLP	⭐⭐⭐⭐⭐	架构收敛（Decoder-only）、目标收敛（下一个 token）、工程栈成熟
多模态	⭐⭐⭐⭐	早期融合成主流，但 Any-to-Any 仍在探索
CV	⭐⭐⭐⭐	纯 ViT 赢在预训练，但下游任务仍有层级结构并存
语音	⭐⭐⭐	ASR 已标准化（Whisper），但端到端全双工对话仍在快速迭代
视频生成	⭐⭐⭐	DiT 是主线，但自回归路线在追赶，采样范式仍在演进

---

九、总结：统一未完成的三个边界

9.1 一句话总结

Transformer 的统一不是”它特别擅长某种数据”，而是”它什么都不假设”——这份空白让它成了通用容器。各模态的差异，则全部集中在”如何把数据变成序列”这一个入口问题上。

回顾全篇的主线：

统一的部分               各模态各自解决的部分
─────────────────────   ─────────────────────
Attention + FFN 骨干     Token 化（切块方式）
残差 + 归一化            位置编码（1D / 2D / 3D）
自监督训练范式            掩码策略（因果 / 双向）
条件注入接口              训练目标（交叉熵 / 去噪 / 对比）
Scaling Law              归纳偏置（局部性 / 多尺度 / 时空分解）
工程栈（算子/并行/量化）   性能瓶颈（显存 / 算力 / 延迟 / 预算）

“切块 → 嵌入 → 加位置”这三步之后，所有模态走的是同一条路。

9.2 三个尚未完成的边界

边界一：有损 vs 无损——token 化的质量天花板

文本 token 化无损，视频 token 化压缩 256–512 倍。这个差距不是工程能抹平的，它决定了视频生成的质量天花板天然低于文本生成。未来的突破点可能在更高效的 tokenizer（更高压缩比 + 更低信息损失）。

边界二：自回归 vs 扩散——训练目标的最终形态

自回归统一、简洁、能直接复用 LLM 的一切基础设施；扩散/流匹配质量更高但机制割裂。目前两条线在视频领域融合、在多模态领域竞争（AR-Omni 是纯 AR 的激进尝试[citation:19]）。这个范式之争尚未结束。

边界三：延迟与算力——实时交互的架构约束

语音对话要求 200–300ms 响应[citation:22][citation:30]，视频生成要求数分钟出片。这两端的约束完全不同，导致语音必须走”低码率 codec + 流式双流”，视频必须走”VAE 压缩 + 少步采样”。架构在两端被拉向不同形状，中间的统一反而是最容易的。

9.3 最后一个值得记住的判断

ViT 在 ImageNet 上的精度，和现代 CNN 差不多[citation:13]。它赢得整个视觉领域，不是因为更准，而是因为它输出的是”和文本同格式的 token 序列”。

同样地，语音用梅尔频谱、视频用 VAE 潜变量——这些技术选择的首要目标都不是”保留最多信息”，而是”让数据能塞进 Transformer 的序列接口”。

架构统一的真正驱动力，从来不是性能最优，而是接口兼容。

谁能以最低的成本把自己的数据变成”一串向量”，谁就能搭上这趟规模化的列车。这既是 Transformer 统一一切的原因，也是理解各模态实现差异的唯一钥匙。

---

附：本文关键来源说明

类型	来源	使用原则
ViT / ViT-22B / ViT-5 架构细节	学术论文与论文解读[citation:1][citation:5][citation:9][citation:13]	直接采用
Whisper 架构参数	官方与权威技术文档[citation:2][citation:10][citation:14]	直接采用
视频生成（DiT / VAE / Flow Matching）	技术综述与模型文档[citation:3][citation:11][citation:15]	标注厂商口径
融合范式分类与选型	技术教程与综述[citation:4][citation:12]	直接采用
语音 Codec 与端到端架构	行业调研与技术报告[citation:18][citation:20][citation:22][citation:28]	标注为调研口径
Any-to-Any（AR-Omni / Inkling）	arXiv 论文与官方发布[citation:19][citation:21][citation:27]	论文结论直接采用，实测数据标注来源

⚠️ 多模态领域迭代极快，事实截至 2026 年 10 月 26 日。涉及具体选型时请以厂商最新官方文档为准。文中所有提升幅度、延迟数字，凡属厂商自报口径均已标注，未独立复现。