AI 能记住多少东西

上下文 · 第 2 课 | ← 上一课 | AI 零基础入门

核心洞察:AI 不是无限记忆的。它有一个「白板」,写满了就只能擦掉最旧的内容来写新的。你聊得越长,它忘得越多——不是变笨了,是白板满了。

先想一个问题

你跟一个朋友聊天,从下午 2 点聊到 6 点。你觉得他会记得下午 2 点你说的第一句话吗?

大概率记不住——人的短期记忆是有限的。

AI 也一样。

白板比喻

🪟 ➡️ 📝 ➡️ 🧹

想象你面前有一块白板

  1. 你开始跟 AI 聊天,AI 把你说的话和它的回答都写在白板上
  2. 白板是有限大小的——写满了就不能再写了
  3. 要继续写新的?必须擦掉最旧的内容

所以你跟 AI 聊了 100 轮之后,它还记得第 95 轮说了什么,但第 1 轮的内容已经被擦掉了。

这块「白板」的大小,就叫上下文窗口(Context Window)

上下文窗口是什么

每个 AI 模型都有一个固定的「记忆容量」——它一次性能「看到」多少文字。这个容量就叫上下文窗口。

如果你用的 AI 是比较新的模型(2025-2026 年发布的),它的上下文窗口通常在 100K tokens 以上——相当于一本几万字的短篇小说。

模型迭代很快,具体哪个模型有多大窗口这个信息几个月就会变。你只需要记住一个大趋势:

查你用的模型有多大窗口:直接问 AI 自己。输入「你的上下文窗口有多大?」——它会告诉你。

Token 是什么?

上下文窗口的大小是用「token」来衡量的。简单来说:

不需要记住 token 的精确算法。你只需要知道:

上下文窗口是用 token 衡量的。你发的每句话、AI 回的每句话,都在消耗这个窗口。

这就是为什么:上传一整本小说让 AI 分析,可能直接把窗口占满了——它只能记得小说内容,记不住你之前问了什么。

为什么 AI 会突然「失忆」?

你聊着聊着,AI 突然不记得某个信息了——最常见的两个原因:

🔴 原因一:窗口满了

对话太长,最早的内容被挤出去了。

我在做一个 AI 入门网站,包含 6 个模块……

(中间聊了 50 轮各种细节)

刚才说的那个网站的首页,你觉得用什么配色?
你指的是哪个网站?我没有看到相关上下文。

第 1 轮提到的「网站」已经被挤到窗口之外了。

🔴 原因二:中间插入了太多其他内容

即使窗口没满,中间的内容太多也会「稀释」注意力。

帮我写一个 Python 脚本读取 CSV 文件。

(AI 生成了很长的代码,中间又问了好几个其他问题)

把这个脚本改成读取 Excel 文件。
你说的「这个脚本」指的是哪个脚本?

AI 的注意力被中间的内容稀释了。

不管是哪种原因,都不是 AI「变笨了」——这是它的底层设计决定的,所有模型都这样。

这对你意味着什么

知道了 AI 有记忆上限,你可以做一些很简单的事来改善体验:

❌ 错误做法

✅ 正确做法

🖐️ 现在就试

做这个实验来感受上下文窗口的存在:

  1. 给 AI 一段很长的文本让它分析(比如一篇 5000 字的文章)
  2. 然后连续问 20 个跟这篇文章无关的问题
  3. 再问一个跟那篇文章细节相关的问题
  4. 看 AI 还能不能记住文章的细节

预期结果:大概率 AI 已经忘了文章里的具体内容——因为窗口被中间 20 个无关问题和回答占满了。

这不是 AI 的错,是窗口满了。

第 1 课 + 第 2 课 串起来

第 1 课:上下文是什么

AI 有「短期记忆」——它记得你刚才说了什么,所以对话能连贯。

第 2 课:记忆的上限

但记忆是有限的——白板会满,满了就会忘。不是变笨了,是设计如此。

今天记住这一句

📏 AI 的记忆像一块白板——

写满了就要擦掉最旧的内容。话题变了就开新对话,是最简单的应对方法。

← 上一课:AI 为什么记得你说过的话 下一课:怎么用好上下文 →

推荐阅读: Understanding Context Windows in LLMs(英文)— 用比喻和图表解释了上下文窗口的原理。

有疑问?回到 AI 工具,试着故意把对话聊到「窗口满」的程度,观察 AI 什么时候开始忘记。这是最好的学习方式。