探新AI-大模型从“文盲”到“学霸”的成长之路

手机里那个能写诗、能编程、能陪你聊天的 AI，三个月前还在 “牙牙学语”，连一句完整的话都说不利索。它是怎么在这么短的时间里，从 “文盲” 变成 “学霸” 的？答案藏在一条漫长而昂贵的技术流水线上。今天我们就拆开这台 “智能引擎”，看看它到底是怎么被一步步训练出来的。

预训练：让模型先 “识字”

大模型的起点，是一个对语言毫无概念的神经网络 —— 几万亿个参数随机初始化，相当于一张白纸，连 “苹果” 是什么都不知道。

训练的第一步，叫预训练。研究人员从互联网上抓取海量文本 ——Common Crawl 积累了超过十年的网页快照，加上维基百科、书籍、学术论文、GitHub 代码库，总量可达数万亿 Token。

预训练的核心任务，是让模型学会预测下一个 Token。 这个任务在技术上叫作 “自回归语言建模”，训练过程中，模型每次 “看到” 一段文本，会被要求遮住最后一个词，用自己的参数去猜。猜对了，参数微调加强；猜错了，反向传播调整权重。通过数万亿次这样的迭代，模型内部的参数逐渐学会了捕捉词汇之间的共现关系、语法结构，甚至一些隐性的推理模式。

这个阶段的 “教材” 是未经筛选的互联网文本，质量参差不齐 —— 包含错误信息、偏见表述、低质内容。模型像海绵一样 “照单全收”，这为日后的 AI 幻觉埋下了伏笔。预训练的核心目标是 “语言能力” 而非 “事实准确性”。 模型在这个阶段学会了 “如何像人一样说话”，但它并不 “知道” 自己说的是真是假。

监督微调：教会模型 “好好回答问题”

预训练结束后，模型是一个 “语言流利但不太听话” 的通才。它擅长文本续写，但不擅长按照人类的指令回答问题。

这时候需要第二步：监督微调（Supervised Fine-Tuning, SFT）。

SFT 的核心思路是：给模型看一批 “标准答案” 示例，让它模仿这些示例来回答问题。这些示例由人类标注员精心编写，格式通常是 “用户问题 — 标准回答” 的配对。

示例：
用户问：“什么是光合作用？”
标准回答：“光合作用是植物利用光能将二氧化碳和水转化为有机物和氧气的过程……”

模型在数万条这样的示例上做有监督学习，逐步调整参数，学会 “当用户这样问时，我应该给出这样的回答”。这个阶段相当于 “模仿学习”—— 模型模仿人类标注员的回答风格和内容结构，把模型从 “文本续写器” 变成了 “问答助理”。

经过 SFT，模型的回答变得结构清晰、格式规范，但它仍然可能输出有害内容、编造事实，或者在不该回答的时候过度 “配合”。比如问它 “如何制作危险物品”，它可能真的给出步骤 —— 因为它只是学会了 “回答问题”，还没学会 “判断什么不该回答”。于是需要第三步。

基于人类反馈的强化学习：对齐人类偏好

如果说 SFT 是让模型 “学会答题”，那么基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）就是让模型 “学会做人”—— 理解什么回答是好的、什么是不好的，形成价值判断。

RLHF 不是 “教” 模型新知识，而是调整它的 “输出偏好”。 它改变的不是模型 “能生成什么”，而是模型 “倾向于生成什么”。打个比方：SFT 像是给模型一本 “答题范本” 让它照着抄，RLHF 则是通过奖励和惩罚，让模型自己摸索出 “怎么做才更讨人喜欢”。

这三步组合起来，构成当前全球主流大模型训练的标准范式。

现在我们回过头来看，那个每天陪你聊天、帮你写周报的AI，到底是个什么样的存在？

它不是“凭空蹦出来的智慧”，也不是什么神秘的“电子幽灵”。它的真身，是一串串在GPU里疯狂奔跑的电流，是2.5万张显卡连起来能绕足球场一圈的钢铁矩阵，是三个月日夜不停的轰鸣风扇，是烧掉的上亿美元电费账单。

当然，也别太神话它。 它再厉害，也只是个“高级概率预测器”。它会编瞎话，会犯低级错误，会在你问“1+1等于几”的时候一本正经地跟你辩论“也可以是3”。