大模型的工作原理 - AI提示词使用技巧

大语言模型是怎么工作的

理解大模型的工作原理，能帮你写出更好的提示词。

大语言模型本质上是一个超级强大的"接话"机器。它根据你输入的文字，预测接下来最可能出现的文字。

1. Token
模型不是按"字"或"词"处理文本的，而是按 Token 处理。一个中文字大约是 1-2 个 Token，一个英文单词大约是 1 个 Token。

2. 上下文窗口
每个模型有一个"记忆容量"，叫做上下文窗口。比如 GPT-4 有 128K Token 的窗口，大约等于 10 万字中文。

3. 注意力机制
模型在处理你的提示词时，会对不同部分赋予不同的"注意力权重"。越靠后的内容、越有结构的内容，获得的注意力通常越高。