技术

这一年半，软件工程真正在做的事情，是把'怎么写代码'这门手艺，改造成'怎么设计一个让代码能被可靠地写出来、并被确定性地验证'的系统

由于软件工程是LLM唯一'有免费裁判'的领域，因此编程是LLM表现最好的领域之一——它有密集的、即时的、客观的反馈信号可以学习，这使得代码生成速度被放大了几十倍，但验证速度却没有。因此，瓶颈从‘写’转移到了‘验’，而问题是，当前整个工程体系还是按‘写是瓶颈’设计的。

LLM 在量化里的正确定位是'把非结构化信息转成结构化信号'，而不是'更准的预测器'

大模型现在最缺的，不是再多一点知识，而是知道自己的边界在哪里；而业界正在补的，也不只是模型能力，是一整套'识别不确定 → 升级 → 人工兜底'的工程体系。

当算力是‘定量配给’而非‘按需取用’时，架构设计必然从‘怎么做到最强’转向‘怎么用最少的算力做到足够强’。国内所有激进的效率创新，源头都在这里。

一个团队只要打通了 LLM 的工程栈，就把 CV、语音、多模态的栈打通了 80%。这才是'统一'在产业上最大的价值——它不是学术上的优雅，而是工程复用。

预训练把世界装进模型，后训练教它怎么调用；而真正超出数据边界的能力，只在一个能诚实地告诉它'你错了'的环境里，才会长出来。

理解Transformer为什么会出现，先要理解它要替代的东西是在什么背景下长出来的。

RNN 解决了'如何处理序列'，LSTM 解决了'如何记住久一点'，而 Transformer 解决的是'如何让模型规模化'——最后一个问题的答案，最终把人工智能推入了大模型时代。