AI 能操控你的电脑

Code & 操作本地 · 第 2 课

核心洞察：「操作窗口」就是 AI 接管你的电脑屏幕——它用自己的「眼睛」看你的屏幕，用「手」（鼠标键盘）操作软件。你只需要告诉它「帮我做这个」，它自己去点、去搜、去填。

从「对话」到「动手」

上一课你学了 AI 可以替你写代码。但写代码还不够——如果 AI 能自己运行这些代码呢？

这就是「操作窗口」（Computer Use）要做的事。

— 想象这个场景

你对 AI 说：「帮我去这个网站查一下数据，整理到表格里，发邮件给老板。」

接下来 AI 会：

  1. 自动打开浏览器
  2. 输入网址
  3. 在页面上找数据
  4. 复制到表格里
  5. 打开邮箱，写邮件，发送

你全程只需要说一句话。AI 替你完成了所有操作。

操作窗口到底是什么？

简单说，操作窗口是 AI 的「眼睛」和「手」：

AI 的「器官」对应什么具体表现
👀 眼睛 屏幕截图 AI 每隔几秒拍一张屏幕照片，分析上面有什么
🖱️ 手 鼠标点击 AI 计算坐标，移动到按钮位置，点击
⌨️ 手指 键盘输入 AI 在输入框里打字、按回车、用快捷键

听起来很科幻？但这就是 2026 年主流 AI 工具已经具备的能力。你用的 ChatGPT、Claude、Hermes 等，大部分都有「操作电脑」的功能。

它和前面学的能力有什么区别？

❌ 只有 Chat 窗口

你：「帮我查一下下周末上海有什么展览」

AI：「我建议你去某网站搜索……」

AI 只能给你建议——你要自己去搜。

✅ 有操作窗口

你：「帮我查一下下周末上海有什么展览」

AI 自动打开浏览器 → 搜索「上海 周末 展览」→ 浏览结果 → 整理成表格给你看。

AI 替你做了全部操作——你只需要等结果。

操作窗口能做什么？

实际场景中，操作窗口最常用的功能：

🌐 网页操作

打开浏览器 → 搜索 → 填表单 → 下载文件 → 截图保存

📂 文件管理

创建文件夹 → 移动文件 → 重命名 → 批量整理桌面

📝 编辑文档

打开 Word/Excel → 填入数据 → 调格式 → 导出 PDF

💻 运行程序

打开终端 → 运行你让它写的脚本 → 查看运行结果 → 修复错误

操作窗口的限制（你也要知道）

操作窗口很强大，但不是万能的。了解限制，你才能知道什么时候用它、什么时候不用：

限制说明
速度慢AI 看屏幕→思考→点击→再看，比人手动操作慢 2-5 倍
容易「看错」AI 用「眼睛」看屏幕，可能会把两个相似按钮认错
需要你的授权每次操作前通常需要你允许——不是想点就点的
不太适合纯视觉操作比如抠图、调颜色、设计排版——这些还是你亲手做更好
不擅长需要「审美判断」的事做 PPT 选哪个模板好看？这种事让 AI 自己选可能不满意

实用建议：操作窗口最适合「有明确步骤的重复性工作」——比如填 50 个表单、批量下载文件、整理文件夹。不适合需要审美或判断力的工作。

Code + 操作窗口 = 真正的自动化

把第一课和第二课的能力合在一起，你就有了一个真正的 AI 助手：

— 举个完整的例子

你想每天自动监控某个商品的价格变化：

  1. Code 能力 → 你让 AI 写一个价格监控脚本
  2. 操作窗口 → 你让 AI 打开浏览器，配置这个脚本每天早上 8 点自动运行
  3. 结果 → 每天早上你会收到一条消息：「你关注的商品今天降了 50 元」

Code 帮你做了工具，操作窗口帮你部署和设置。两件事加起来，AI 才算真的帮你完成了「一整件事」。

你现在就能试的操作

如果你用的是支持操作窗口的 AI 工具（查一下你用的 AI 支不支持「Computer Use」或「操作电脑」），可以试这个：

🖐️ 试一下

  1. 打开你的 AI 工具
  2. 告诉它：「帮我打开浏览器，搜索『今天的热门新闻』，把前 5 条整理成列表给我。」
  3. 看它的反应——有些会直接操作你的电脑屏幕，有些会说「我没有这个权限」

如果它说没有权限，也不用失望——知道有这个能力就够了。未来大多数 AI 都会支持。

自我检查

✅ 检查你的理解

  1. 操作窗口让 AI 多了哪两种「器官」？
  2. 操作窗口最适合做什么类型的事？不适合做什么？
  3. Code 和操作窗口分别解决什么问题？合在一起能做什么？

🖥️ 操作窗口 = AI 的「眼睛」+「手」。

你说需求，它自己去点鼠标、敲键盘。

← 上一课 下一课：串联所有能力 →

有疑问？返回 主页，或者在 AI 聊天工具里搜「Computer Use」看你的工具是否支持。