读懂大语言模型：8 个核心概念，一次讲透

ChatGPT、Claude、Gemini、文心…… 当你点开任何一个对话界面，背后都是同一个东西：大语言模型（Large Language Model, LLM）。

要理解 LLM，不需要会写代码，但必须掌握这 8 个核心概念。今天一次讲透。

1. Token：模型处理的最小单位

大模型不是直接看「汉字」的。

它处理的是 Token —— 一段文字被切成的小块。

英文：1 个 token ≈ 0.75 个单词
中文：1 个汉字 ≈ 1.5~2 个 token
一句话「你好世界」 ≈ 4 个 token

为什么重要：模型的「上下文窗口」是按 token 算的，不是按字。GPT-4 是 8K / 32K / 128K token。

2. Embedding：把世界翻译成数字

模型看不懂「猫」这个字。

它只懂数字。所以每个 token 都要先被翻译成一串数字（向量），这个过程叫 Embedding。

想象成给每个词一个坐标。语义相近的词，坐标也接近：

「国王」和「女王」坐标接近（都是皇权）
「国王」和「香蕉」坐标很远

这就是为什么模型能理解「相似」 —— 因为它生活在「数字世界」里。

3. Attention：模型「注意」什么

句子是按顺序读的，但理解不是。

当我看到「它跑了」时，模型必须回头看「它」指的是什么。

Attention（注意力机制）就是让模型能回头找上下文的能力。

简单说：Attention 让模型「看」整个句子，而不是只看上一个字。

4. Transformer：注意力机制的工程化

2017 年 Google 发了篇论文《Attention is All You Need》，提出 Transformer 架构。

它把 Attention 做成可堆叠的模块，每个模块 3 个动作：

看完整句话（Attention）
提炼关键信息（Feed Forward）
整理输出（Layer Norm）

堆 96 层，就是 GPT-3。堆 120 层，就是 GPT-4。

Transformer 之后，几乎所有大模型都是「Transformer 家族」。

5. Pretrain：用海量文本「教」模型语法

预训练（Pretrain） 是用互联网上海量文本「喂」模型。

数据量是惊人的：

GPT-3：约 3000 亿 token
Llama 3：约 15 万亿 token
中文数据：百科、新闻、代码、书籍、论坛……

模型在这一步学到的是语言的「统计规律」 —— 哪些词常一起出现、句子结构长什么样。

但它还不会「对话」，只会「续写」。

6. Fine-tuning：让模型学会特定任务

预训练后，模型「什么都会一点，什么都不精」。

**微调（Fine-tuning）**是用特定领域数据继续训练，让它在某个任务上变强：

医疗问答数据 → 医疗模型
法律文书数据 → 法律模型
中文客服数据 → 客服模型

这也是为什么企业能用自己的数据训练专属模型。

7. RLHF：用人类反馈对齐价值观

预训练 + 微调，模型会变得「能干活」，但还不「听话」。

比如你问「怎么骂人最爽」，它真能给你列 10 条。

**RLHF（Reinforcement Learning from Human Feedback）**用人类反馈教它「什么该说、什么不该说」：

让模型生成多个回答
人类标注员打分（哪个更友好、更有用）
训练一个「奖励模型」学习人类的偏好
用这个模型反过来「调教」主模型

RLHF 让模型从「能说」变成「会好好说」。

8. Hallucination：模型为什么「一本正经胡说八道」

最后说一个绕不开的毛病：幻觉（Hallucination）。

模型会编造看似合理但完全是假的内容：

编出不存在的论文
编出不存在的法律条文
编出听起来像真的「事实」

根本原因：模型学的是「语言的统计规律」，不是「事实的真相」。它不知道「真」和「假」，只知道「什么词常一起出现」。

怎么应对：

关键事实必须人工核对
让模型给出信息来源（可追问）
复杂任务用多步验证（多模型对比 / 工具辅助）

写在最后

这 8 个词，构成了大模型的「最小词汇表」。

记住：

Token 决定它处理什么，
Embedding 决定它怎么表示，
Attention 决定它怎么理解，
Transformer 是它的大脑骨架，
Pretrain + Fine-tuning 是它怎么学，
RLHF 决定它的「性格」，
Hallucination 是它的「局限」。

下次别人和你聊 AI，这 8 个词足够让你听懂 80% 的对话。