Google 称 Gemini 能在五分钟内替你打电话预约、从账单中定位 389 美元电费根因
Google 称,Gemini 现在能在不到五分钟内替用户打完两家经销商的电话并完成预约,还能从邮件账单里定位到 389 美元意外电费的根因——热泵在峰值电价时段启动。据 Google 博客,该更新面向美国、日本、韩国、加拿大、澳大利亚和印度数亿人免费推送。用户可以在 Gemini 应用中将主屏幕开关从 Chat 切换到 Task,也可以通过短信或将邮件转发至 gemini@google.com 来触发任务。Google 称该更新使用新推出的 Gemini 4 Hydrogen 模型,同时一组高级功能率先在美国上线。
它解决什么问题
Labs、Gemini 应用及 AI Studio 副总裁 Josh Woodward 在博文中描述了他个人的使用场景。据 Woodward 描述,他家小型货车的发动机故障灯亮起后,他让 Gemini 同时拨打两家最近的经销商电话,预约一个周五早晨的保养时段。Gemini 通过 Personal Intelligence 已知他家开的是 2019 款 Honda Odyssey 以及住址,因此在 Google Maps 上找到最近的门店并同时拨出两通电话。Gemini 替他听完等待音乐,在 Google Calendar 中找到空闲时段,不到五分钟就把预约加进了日历。Woodward 称,在经销商一端,Gemini 会立即表明自己是 AI,商家可以随时选择退出,且 Gemini 不会在未经用户授权的情况下透露支付或私人账户信息。
Woodward 还在博文中描述了一次账单分析场景:他家收到一张 389 美元的意外电费账单后,他授权 Gemini 通过新的 Google Password Manager 集成访问公用事业门户,并分析邮件中的历史账单。Gemini 工作了几分钟后定位到主要原因——热泵在下午四点左右启动,恰好处于峰值电价时段。Woodward 称他和妻子自己翻 PDF 和邮件不可能发现这一点。
在购物场景中,Woodward 称他让 Gemini 为即将到来的假期旅行推荐 USB-C 充电器。Gemini 借助 Google Shopping Graph 比较了多款产品,追问了功率和颜色偏好,然后通过新的 Google Pay 集成完成结账,还找到了一个折扣码,额外省了 10 美元。在日常杂货方面,Woodward 通过新的 RCS 集成给 Gemini 发短信,要求在 Instacart 订单中添加千层面、草莓、黄瓜和香草冰淇淋;随后他拍了一张空麦片盒的照片发送跟进消息,Gemini 将其加入订单后交由 Instacart 完成下单。Woodward 称,Gemini 目前可连接超过 60 款热门应用,开发者可申请加入 Connected Apps Platform。
Woodward 还描述了他将一批学校邮件从 Gmail 转发到 gemini@google.com 的场景:不到一分钟,所有日期都被加入日历并邀请了他妻子;Gemini 还发现了与篮球训练的时间冲突,并询问是否要给另一位家长发短信协调拼车。
它怎么做
据 Google 博客,Gemini 在执行任务时使用 Google Cloud 的 Agent Compute Engine,在一个硬件隔离的虚拟机(hardware-isolated virtual machine)中运行,该虚拟机专属于用户账户,不与其他用户共享。每个虚拟机都经过沙箱化处理,由安全红队定期测试。沙箱之外还有多层防御,包括扫描搜索结果和网页的提示注入过滤器(prompt-injection filters),以及 Google Safe Browsing 对 Gemini 可打开链接的限制。
Google 称,Gemini 在购物场景中使用 Agent Payments Protocol(AP2)完成交易,正与 American Express(即将推出)、Mastercard 和 Visa 合作,通过数字令牌(digital tokens)保护受支持卡片上的交易安全。用户购物时仍可获得信用卡积分、返现或购买保护。用户可以预先设定一个硬性消费上限(hard spending cap),Gemini 被设计为在预算范围内运作。所有收据和物流信息会直接进入 Google Wallet——Google Wallet 从当天起扩展至 iOS。Google 称下一步将把 Universal Commerce Protocol(UCP)集成到 Gemini 中。
和以前的做法有何不同
据 Google 博客,如果用户的邮件、日历、密码、照片、文件和支付卡已在 Google 生态中,这些敏感数据本身就安全地存储在 Google,用户无需将其发送到其他地方。
Google 在博文中还提到,过去几十年里,机器人(bots)默认被网站屏蔽,因为大多数是恶意的;而个人助理需要一种更细致的方式,Google 认为开放、可验证的标准将使各方受益。
目前的边界
据 Google 博客,尽管任务功能经过了广泛测试以减少错误,但错误并未被完全消除。用户可能遇到任务未能完成或结果偏离预期的情况,Google 请求用户通过”thumbs down”提供反馈。
Google 称,个人助理浏览网页的方式仍在演进,网站也在适应这些新用例。在某些网站上,Gemini 能完成大部分流程,但会将屏幕交还用户来点击最后一个按钮。Google 正与主要网站和安全提供商直接合作,推动网络环境的演进。
在关键操作前,Gemini 被设计为暂停并征求用户确认——例如在点击”购买”之前会请求确认或预先批准,在指令模糊时会提出澄清问题。对于用户已信任的日常操作(如将麦片加入购物车),可以设置为”Always allow”以跳过确认。用户可随时调整任务设置、断开 Google 及第三方应用连接或删除聊天记录。Google 同时邀请用户通过 AI Vulnerability Reward Program(AI VRP)参与漏洞赏金计划,以推进代理系统的安全性。
主题分类:技术与产业
参考资料
- Put Gemini to work for you — Google Blog, 日期未标注