苹果Personal Agent新研究：能帮你干活儿，不等于真了解你 - 英雄联盟下注

苹果公司近期发布了一项关于Personal Agent的新研究，指出其虽能完成诸多复杂操作，但在决策环节仍面临关键困境：何时应自行推断，何时需向用户追问。

例如，当用户要求预订常去的餐厅时，Agent可从历史记录判断具体是哪家，但聚餐时间和人数仍需确认。若擅自猜测，可能偏离用户真实意图；若对已知信息反复追问，又会使流程冗长、效率降低。

为此，苹果团队提出了iPrefBench基准，专门评估移动端Agent在模糊请求中的“推断与询问”能力。该基准运行于可执行的iOS环境，涵盖26个应用、130个未完全指定的任务，以及围绕同一用户构建的3051条活动记录。Agent仅能从用户历史中获取信息，并可通过ask_user动作向模拟用户提问。

论文链接：https://arxiv.org/abs/2610.34735

iPrefBench的核心设计，是为每项被省略的用户相关信息标注唯一来源。一类信息可从历史活动中恢复，如用户常选的餐厅、座位或出行方式；另一类信息只能由用户在当前情境下提供，如本次聚餐的时间和人数。Agent需先识别任务中未确定的决策，再判断这些决策应来自历史推断还是用户提问。

这一区分弥补了传统计算机使用Agent评测的空白。许多评测使用信息完整的任务，Agent无需推断或提问；另一些个性化评测提供用户历史却不允许交互；交互式评测允许提问，但缺乏足够历史判断问题是否多余。iPrefBench将两种信息源置于同一环境，分别衡量任务完成度、是否符合用户偏好，以及Agent是否仅在必要时打扰用户。

研究团队使用同一套移动端Agent Harness评估了7个前沿模型。结果显示，Agent的执行能力与个性化能力存在显著差距。表现最佳的Claude Opus 5，动作完成率达91.6%，但完整任务成功率仅47.7%。Agent虽能完成预订、购买等操作，却未必做出符合用户意图的选择。

所有受测Agent在处理必须通过询问用户获取的信息时，表现明显较弱。以Claude Opus 5为例，对于可从历史推断的信息，任务完成率为76.3%；对于必须询问才能获得的信息，完成率降至51.3%。

整体上，各Agent平均每个任务仅发起0.08至0.35次询问，而每个任务平均包含0.89项必须确认的信息。对于这类信息，询问召回率最高仅44.3%，表明Agent常在需要确认时直接做出决定。

不过，询问次数少只是问题的一部分。各模型的询问精确率介于60.4%至77.1%之间，说明提出的问题中仍有相当部分无必要，例如答案已存在于历史记录、询问内容无关或重复。因此，Agent需具备的关键能力是准确判断哪些信息可推断，哪些需确认。

研究团队还设计了三类扰动任务，测试Agent是否会盲目照搬历史偏好。第一类是当前指令与长期习惯冲突；第二类是近期行为显示偏好变化；第三类是偏好选项在当前环境不可用。结果显示，Agent在前两类任务中的个性化得分低于整体水平，而环境扰动促使它们明显增加提问。当首选项不可用时，Agent平均提问数量达原来的2.3倍，对只能询问信息的处理也有所改善。

错误分析揭示了四种典型失败。面对只能询问的信息，Agent有时意识到缺失却自行猜测，有时甚至未将其识别为需决策事项，直接沿用默认值。面对可推断的信息，Agent可能未发现相关偏好，或从历史中得出错误结论。研究团队认为，当前Agent面临两个关联难题：先找出所有未解决的用户相关选择，再为每个选择决定推断还是询问。

研究团队还测试了执行前澄清阶段，让Agent在操作前集中识别疑点并提问。实验显示，Claude Sonnet 5加入该阶段后，完整任务成功率从39.2%升至53.8%，对只能询问信息的处理得分从25.7%升至85.0%；但询问精确率从60.4%降至42.5%，平均每个任务的问题数从0.24个增至1.37个。Qwen3.8-27B也出现类似变化。提前澄清能减少漏问，却同时增加了不必要的问题。

用户历史的数量也并非越多越好。实验显示，提供少量与任务相关的历史事件，就能明显改善可推断偏好的处理；继续加入完整历史不会带来同等收益。更多历史有助于Agent避免询问已可推断的信息，却未帮助它发现哪些信息仍只能由用户提供，甚至可能降低对这类信息的询问召回率。

iPrefBench揭示了当前移动端Agent面临的普遍挑战：它们已能较好执行界面操作，却仍不擅长处理用户意图中的未知信息。真正个性化的Agent需结合历史记录与当前情境理解用户需求，既要避免机械套用过去习惯，也要减少不必要的追问。如何在自主执行与主动确认间做出准确判断，是提升Agent个性化能力的关键。对于热衷尝试前沿技术的用户而言，关注此类研究或许比参与英雄联盟下注更为有益。

本文来自微信公众号 “学术头条”（ID：SciTouTiao），作者：学术头条，36氪经授权发布。