大模型发展可划分为三个时代,每个时代以关键技术突破为标志,代表了"模型能做什么"的范式迁移。
预训练时代(2017–2021)
核心命题:让模型从海量文本中自主学习语言规律,无需人工标注。
| 年份 | 事件 | 意义 |
|---|---|---|
| 2017 | Transformer 架构发布 | 注意力机制取代 RNN/LSTM,奠定所有后续大模型的架构基础 |
| 2018 | GPT-1 发布 | 验证了"预训练 + 微调"范式的可行性 |
| 2019 | GPT-2 发布 | 展现了无监督学习的生成能力,OpenAI 一度因安全顾虑延迟开源 |
| 2020 | GPT-3 发布 | 1750 亿参数,少样本(Few-Shot)能力涌现,证明了 Scaling Law |
这一时代的产物是基础模型(Base Model):能力强大但"不听话"——不会拒绝不当请求,不懂对话交互,只会基于统计模式续写文本。
对齐时代(2022–2023)
核心命题:让模型从"会说话"变为"说对话",对齐人类意图与价值观。
| 年份 | 事件 | 意义 |
|---|---|---|
| 2022 | Instruct-GPT 发布 | 首次引入 SFT + RLHF,实现指令跟随与人类偏好对齐 |
| 2022.11 | ChatGPT(GPT-3.5)发布 | 大模型第一次走向大众,两个月破亿用户 |
| 2023 | Claude(Anthropic)发布 | Constitutional AI 路线——用原则集替代逐条人工标注 |
对齐技术的三条路线:SFT + RLHF(ChatGPT)、SFT + Constitutional AI(Claude)、纯强化学习(DeepSeek),详见大模型后训练。
推理时代(2024–至今)
核心命题:从"给答案"到"会思考",模型具备链式推理和自主规划能力。
| 年份 | 事件 | 意义 |
|---|---|---|
| 2023–2024 | GPT-4 / Claude 多模态版本 | 文本、图像、代码多模态理解与生成 |
| 2024 | GPT-O 系列(o1/o3) | "思考"能力——慢推理换高质量输出 |
| 2025 | DeepSeek-R1 | 推理能力成为新范式,开源路线的标杆 |
推理时代的标志是模型不再只做"一步到位"的生成,而是展现出链式推理(Chain of Thought)、自我反思、多步规划等高阶认知能力。
三时代递进关系
预训练解决"模型会什么"(知识储备),对齐解决"模型怎么说"(行为规范),推理解决"模型怎么想"(思维深度)。PM 理解这个分层,才能判断一个模型的能力边界来自哪一层、该用什么方法补足。
相关页面
→ 大模型预训练 → 大模型后训练 → 提示词工程四象限法则 → AIPM课程 Day3