让 Gemini 读屏幕内容 屏幕上下文功能详解
它是什么
Screen Context(屏幕上下文)= 让 Gemini 自动读取你当前手机屏幕上显示的文字和图片,然后回答与之相关的问题。
和"手动上传截图"不同——开启 Screen Context 后,当你在其他 App 里触发 Gemini(长按电源键、Hey Google、overlay),它自动看到当前屏幕内容并给出建议。
怎么开启/关闭
- 打开 Gemini App
- 左上角菜单 → 设置与帮助
- 找到 Screen Context 开关
- 开启后有两个子选项:
- 使用屏幕文字(Use text from screen)
- 使用截图(Use screenshot)
注意:部分设备上这个功能可能在系统设置里(Digital Assistant 相关),或者根本不可用。
触发方式
在其他 App 里时:
方式一:overlay 模式
- 长按电源键(或 Hey Google)调起 Gemini
- 如果 Screen Context 已开,Gemini 会:
- 自动分析当前屏幕
- 在输入框上方出现"问关于这个屏幕的问题"建议
- 或直接给出相关回答
- 点击建议或直接提问
方式二:手动触发
在一些 Google App 里(Chrome、YouTube、Google Photos 等),长按或三点菜单里可能出现"让 Gemini 帮忙"的选项。
实际场景
看长文章
(在 Chrome 里打开一篇 5000 字的技术长文)
长按电源键 → Gemini overlay 弹出
Gemini:看到你在读这篇关于"LLM 推理优化"的文章。需要我帮你总结要点吗?
你:总结一下,分 5 条
Gemini:好的,这篇文章的核心观点:
1. KV Cache 是推理瓶颈的主要来源……
2. PagedAttention 将显存碎片问题减少 90%……
……
看 YouTube 视频
(YouTube 正在播放一个新品发布会视频)
长按电源键
Gemini:你正在看"苹果 WWDC 2025 发布会"视频。需要我:
[ ] 总结发布会要点
[ ] 帮我记笔记
[ ] 查一下视频里提到的产品价格
你:总结要点,分产品列出来
看邮件
(Gmail 里一封很长的客户邮件)
长按电源键
Gemini:你有一封来自 xxx 的邮件需要回复。帮我起草一封?
你:好,语气专业但友好,要点逐条回应客户的疑问
屏幕上下文 vs 屏幕共享
| 维度 | 屏幕上下文(Screen Context) | 屏幕共享(Screen Sharing,Live 里) |
|---|---|---|
| 触发时机 | 自动(调起 Gemini 时) | 手动(Live 里点按钮) |
| AI 看到什么 | 屏幕文字/截图 | 完整屏幕内容 |
| 交互方式 | 文字或语音提问 | Live 语音对话 |
| 风险等级 | 中(可能自动分析敏感内容) | 高(共享期间持续可见) |
| 适用 | 日常快捷查询 | 复杂操作、演示、长对话 |
隐私注意事项
屏幕上下文是自动读取屏幕内容的——这意味着:
- 锁屏界面可能被读取(取决于设备设置)
- 敏感页面(银行 App、支付界面、私密消息)可能被自动分析
- "使用截图"选项可能保存截图数据
建议:
- 不方便的时候关闭 Screen Context
- 只开"使用屏幕文字",不开"使用截图"(更保守)
- 锁屏时关掉通知预览(防止锁屏内容被看到)