这项由上海交通大学多智能体治理与智能团队（MAGIC实验室）联合浙江大学、伊利诺伊大学厄巴纳-香槟分校、牛津大学以及上海人工智能实验室配合完成的研究，，，，
，，，揭晓于2026年第43届国际机械学习大会（ICML 2026），，，，
，，，论文编号为arXiv:2606.02470。。。。。。。有兴趣深入相识的读者可通过该编号盘问完整论文。。。。。。。 你有没有想过，，，，
，，，让AI帮你治理一样平常的飞书日历、给小红书发帖、在Slack里给同事发新闻，，，，
，，，听起来应该不难吧？？？？？？？事实这些AI已经能写诗、编程、解数学题了，，，，
，，，处置惩罚这点"小事"应该手到擒来。。。。。。。然而这项研究给出了一个让人意外的谜底：即即是现在全球最顶尖的AI模子，，，，
，，，在面临这类"小我私家账号治理"使命时，，，，
，，，准确率普遍不凌驾50%，，，，
，，，并且相当一部分使命险些完全失败。。。。。。。 这背后事实爆发了什么？？？？？？？研究团队构建了一套名为MCP-Persona的测试平台，，，，
，，，专门用来磨练AI助手在真实小我私家应用场景中的现实体现。。。。。。。这不是那种让AI在网上搜索信息的简朴考试，，，，
，，，而是模拟真实的"你把自己的账号交给AI治理"的场景——AI需要在你的飞书里建设聚会，，，，
，，，在你的小红书里发内容，，，，
，，，在你的Slack频道里@同事，，，，
，，，同时还得弄清晰谁是谁、谁的ID是什么、哪个日历是主日历。。。。。。。研究效果清晰地展现了目今AI助手在个性化工具使用上的真实短板，，，，
，，，也为未来的刷新指明晰偏向。。。。。。。 要明确这项研究解决的是什么问题，，，，
，，，可以先想象这样一个场景：你雇了一个刚入职的助理，，，，
，，，第一天就让他帮你安排飞书聚会、通知群里的同事、更新Notion条记本里的项目妄想。。。。。。。这个助理智商很高，，，，
，，，能记着重大的聚会议程，，，，
，，，但他不知道你飞书里哪个日历是主日历，，，，
，，，不知道"小李"在飞书里的用户ID是什么，，，，
，，，也不知道你的小红书账号发帖时用的是哪个标签气概。。。。。。。效果呢？？？？？？？他可能会把聚会建在过失的日历上，，，，
，，，把新闻发给过失的人，，，，
，，，或者爽性由于找不到须要的信息而卡住不动。。。。。。。 这正是目今AI助手面临的逆境。。。。。。。研究团队注重到，，，，
，，，现在学术界对AI工具使用能力的评测，，，，
，，，基本都集中在"通用信息盘问"这类使命上，，，，
，，，好比让AI搜索天气、盘问股票、翻译文字。。。。。。。这类使命有个配合特点：工具是果真的、无需账号的、与用户小我私家信息无关的。。。。。。。然而现实生涯中，，，，
，，，人们最希望AI资助处置惩罚的，，，，
，，，恰恰是那些与小我私家账号细密相关的使命——治理邮件、发社交媒体、协调团队日程。。。。。。。这类使命有三个焦点难点。。。。。。。 第一个难点是"账号绑定"，，，，
，，，这些工具必需登录特定账号才华使用，，，，
，，，而每个账号里的数据结构、权限设置、实体关系（好比某个群里有哪些成员）都完全差别，，，，
，，，没有统一的模板可循。。。。。。。第二个难点是"隐私壁垒"，，，，
，，，真实的小我私家数据无法果真共享用于研究，，，，
，，，这让构建一个果真可复现的测试平台变得极为难题。。。。。。。第三个难点是"情形重大性"，，，，
，，，这些应用的状态是动态转变的，，，，
，，，AI执行的每一个操作都可能改变情形状态，，，，
，，，后续操作必需依赖前面操作的效果，，，，
，，，任何一步蜕化都会影响整个链条。。。。。。。 正是这三重难点叠加，，，，
，，，导致了一个令人尴尬的研究空缺：学术界险些没有任何一个像样的测评基准专门针对"小我私家账号治理类"AI使命，，，，
，，，只管这类使命在现实中的需求量重大。。。。。。。MCP-Persona就是为了填补这个空缺而降生的。。。。。。。 研究团队面临的焦点挑战是：怎样在不使用真适用户数据的条件下，，，，
，，，建设一个足够逼真的测试情形来考察AI的真实能力？？？？？？？他们的解决计划是构建一套细密的模拟系统，，，，
，，，整个系统由三个相互配合的部分组成，，，，
，，，就像搭建一个细密剧本演出所需的舞台、演员和剧情一样。。。。。。。 第一部分叫做"工具模拟器"（Tool-Traverse），，，，
，，，认真建设虚拟版本的真实应用程序工具。。。。。。。研究团队首先网络了12个真实的小我私家应用MCP效劳器，，，，
，，，涵盖社交媒体（小红书、Reddit、Instagram）、企业协作平台（飞书Lark、Slack、企业微信WeCom）、内容治理工具（Notion、Obsidian）以及电子邮件效劳，，，，
，，，别的还整合了12个通用信息盘问效劳器（如高德地图、百度地图、医疗信息盘问等），，，，
，，，共计24个效劳器。。。。。。。 要模拟这些工具，，，，
，，，团队接纳了一个"先探索、再复刻"的战略。。。。。。。他们首先手动安排真实的应用情形和测试账号，，，，
，，，由人工标注员结构一批"种子函数挪用"——也就是示例操作指令，，，，
，，，好比"获取某个飞书日历下的所有事务"。。。。。。。接着引入了一种受"自我指令"要领启发的手艺（Self-FC），，，，
，，，让AI模子自动天生更多样化的操作指令，，，，
，，，既包括正常乐成的指令，，，，
，，，也包括种种会失败的过失指令，，，，
，，，好比类型过失、缺少必填字段、参数凌驾规模、参数之间逻辑矛盾等四类典范过失。。。。。。。 网络到大宗真实操作及其对应响应效果后，，，，
，，，团队让AI模子剖析这些"行为轨迹"，，，，
，，，自动天生Python代码来模拟每个工具的处置惩罚逻辑。。。。。。。这段天生的代码既能准确处置惩罚正当请求，，，，
，，，也能准确复现种种过失情形下的报错信息。。。。。。。验证效果批注，，，，
，，，这套模拟器与真实工具的行为一致率高达94%，，，，
，，，而仅仅依赖阅读文档来推测工具行为的比照要领，，，，
，，，一致率只有58%。。。。。。；；；；；
；痪浠八，，，，
，，，光看说明书远不敷，，，，
，，，真正"把工具用一遍"才华明确它的所有性情。。。。。。。 第二部分叫做"情境树"（Context-Tree），，，，
，，，认真建设每个虚拟用户的小我私家数据档案。。。。。。。研究团队为每个应用程序界说了一套树状的数据结构，，，，
，，，清晰地形貌用户数据的层级关系。。。。。。。以飞书为例，，，，
，，，结构是"用户→日历→日程事务"；；；；；
；以小红书为例，，，，
，，，结构是"用户→帖子→谈论"；；；；；
；以Slack为例，，，，
，，，结构是"用户→频道→新闻"。。。。。。。 填充这棵树的方法颇为考究。。。。。。。关于需要随机ID的字段，，，，
，，，系统会凭证真实名堂自动天生；；；；；
；关于地名、都会等有限选项的字段，，，，
，，，从预设列表中抽样；；；；；
；关于自由文本字段，，，，
，，，由AI模子依据上下文自由天生；；；；；
；而关于需要体现真实感的内容性字段（好比小红书帖子的正文），，，，
，，，团队直接接纳了经由脱敏处置惩罚的真实网络内容。。。。。。。敏感字段如电话号码则所有替换为虚伪数据以；；；；；
；ひ私。。。。。。。这棵情境树不是静态的，，，，
，，，AI助手执行的每个建设、修改、删除操作都会实时更新树的内容，，，，
，，，从而真实模拟多轮交互中数据的转变状态。。。。。。。 第三部分叫做"使命天生器"（Persona-Gen），，，，
，，，认真创作真实可信的测试使命。。。。。。。这是整个系统最磨练人工加入的环节。。。。。。。研究团队首先通过拓扑采样要领，，，，
，，，从工具之间的依赖关系图中筛选出合理的工具挪用链，，，，
，，，确保每条链知足五个条件：工具之间保存真实的逻辑依赖、链条中至少包括一个小我私家账号工具、差别链条之间不重复、上下游工具的输入输出能够衔接、整体场景切合现实使用逻辑。。。。。。。 基于这些工具链，，，，
，，，系统自动天生"原型指令"，，，，
，，，再将情境树中的详细数据值填入，，，，
，，，获得详细化的使命形貌。。。。。。。接下来是最要害的"模糊化"处置惩罚：刻意删去真适用户在一样平常对话中不会说出口的参数细节，，，，
，，，好比用户ID、日历ID这类手艺性标识符。。。。。。。一个真适用户会说"帮我给我的上司宋柯发个飞书新闻"，，，，
，，，而不会说"帮我挪用im_v1_message_create接口，，，，
，，，向user_id为o9k5jtwo的用户发送新闻"。。。。。。。这种"模糊化"处置惩罚模拟了现实中指令的自然性和不完整性，，，，
，，，正是AI需要应对的真实挑战。。。。。。。 最终，，，，
，，，所有自动天生的使命都经由人工标注员的逐一审核、修改和打磨，，，，
，，，确保每个使命在逻辑上完全自洽，，，，
，，，在难度上足够有挑战性，，，，
，，，在表达上真实反应用户的一样平常语言习惯。。。。。。。经由这道严酷的人工关卡，，，，
，，，共爆发173个高质量测试使命，，，，
，，，平均每个使命需要挪用多个工具，，，，
，，，并包括若干需要从情形中自主发明的隐性信息。。。。。。。 测试平台就位后，，，，
，，，研究团队约请了凌驾十款当今最顶尖的AI模子来加入这场审核，，，，
，，，阵容相当豪华。。。。。。。商业闭源模子方面，，，，
，，，GPT-5、Claude-Sonnet-4.5、Claude-Opus-4.1、o4-mini、o3、GPT-4o、Grok-4、Gemini-3-Pro、Gemini-2.5-Pro悉数登场。。。。。。。？？？？？？茨Ｗ臃矫，，，，
，，，Qwen3-Max-Latest、Qwen3-235B-A22B、DeepSeek-V3、Qwen3-Coder也一同加入。。。。。。。每款模子都以相同的使命和工具荟萃为输入，，，，
，，，最多允许举行20轮工具挪用来完成使命。。。。。。。 评分系统分三个维度。。。。。。。第一个维度是"检查点准确率"，，，，
，，，将每个使命剖析成若干个子目的检查点，，，，
，，，由另一个AI模子（GPT-4o）担当裁判，，，，
，，，对每个检查点自力打分，，，，
，，，取平均值作为使命得分。。。。。。。第二个维度是"乐成率"，，，，
，，，权衡模子得分凌驾0.8的使命比例，，，，
，，，可以明确为"基本完成使命"的比率。。。。。。。第三个维度是"执行准确率"，，，，
，，，直接检查模子对数据库的现实操作效果——建设了什么、修改了什么、删除了什么——是否切合预期，，，，
，，，这是最直接、最客观的评判标准。。。。。。。 效果令人警醒。。。。。。。体现最好的Claude-Sonnet-4.5，，，，
，，，检查点准确率是38.66%，，，，
，，，GPT-5以36.99%紧随厥后。。。。。。；；；；；
；痪浠八，，，，
，，，即即是全球最顶尖的AI模子，，，，
，，，平均而言也只能准确完成使命中不到四成的目的办法。。。。。。。"乐成率"这个指标更惨，，，，
，，，Claude-Sonnet-4.5的乐成率是10.40%，，，，
，，，意味着只有约莫十分之一的使命能被完整地基本完成。。。。。。。没有任何一个模子的准确率凌驾50%。。。。。。。 从使命类型看，，，，
，，，电子邮件使命是模子体现相对最好的一类，，，，
，，，由于邮件的操作逻辑相对简朴，，，，
，，，依赖链条也较短。。。。。。。社交媒体和企业协作平台的使命则更具挑战性，，，，
，，，由于涉及跨用户的交互和重大的实体关系识别。。。。。。。内容治理类工具（Notion、Obsidian）的体现最差，，，，
，，，模子在面临长篇文档的导航和编辑时尤为辛苦。。。。。。。 跨应用使命（Cross-Server Tasks）的难度进一步升级：需要同时操作飞书和小红书的使命，，，，
，，，或者需要将高德地图的蹊径信息写入Obsidian条记再通知Slack频道的复合使命，，，，
，，，对所有模子都是严肃磨练。。。。。。。其中"杂烩"场景（恣意组合多个应用的使命）是最难的一类，，，，
，，，险些所有模子在这里都跌入低谷。。。。。。。 通太过析大宗失败案例，，，，
，，，研究团队总结出三种重复泛起的典范失败模式，，，，
，，，每种模式都展现了AI在个性化工具使用上的特定短板。。。。。。。 第一种失败模式叫"浅尝辄止，，，，
，，，不深挖情形"。。。。。。。许多使命中，，，，
，，，用户的指令并不会把所有须要信息说清晰，，，，
，，，AI需要自动去探索情形中已有的数据来补全这些信息。。。。。。。但实验中大宗的弱模子选择了"就近解决"的战略——凭证外貌指令天生一个看起来合理但现实上过失的操作，，，，
，，，然后就此收手，，，，
，，，基础不去验证缺失的信息是否可以从情形中找到。。。。。。。 一个典典范子是：使命要求"给我的上司宋柯发一条飞书新闻，，，，
，，，诠释我的请假缘故原由"，，，，
，，，同时情形数据中存储着宋柯的飞书用户ID（o9k5jtwo）。。。。。。。弱模子的做法是：绕过飞书，，，，
，，，直接发了一条企业微信新闻，，，，
，，，收件人照旧凭空捏造的——使命外貌上"完成"了，，，，
，，，现实上平台错了、收件人也错了，，，，
，，，彻底失败。。。。。。。准确的做法应该是：先挪用工具盘问飞书的联系人列表，，，，
，，，找到宋柯对应的ID，，，，
，，，再挪用飞书新闻发送接口。。。。。。。 第二种失败模式叫"跳过隐含的前置办法"。。。。。。。飞书的许多操作需要先用手机号查找用户的平台内部ID，，，，
，，，再用这个ID来执行详细操作。。。。。。。准确的事情流程是两步：先挪用user_batchGetId工具把手机号转成用户ID，，，，
，，，再把这个ID传给calendarEvent_create工具来建设日程并指定主持人。。。。。。。但许多模子会跳过第一步，，，，
，，，直接把手机号当成用户ID填进去，，，，
，，，或者爽性伪造一个ID，，，，
，，，效果要么报错，，，，
，，，要么在没有过失提醒的情形下静默失败——最糟糕的情形，，，，
，，，由于没有报错，，，，
，，，模子甚至不知道自己已经失败了。。。。。。。 第三种失败模式叫"上下文越长越迷糊"。。。。。。。情境树设计确保了AI在与各个工具交互时，，，，
，，，上下文中会积累越来越多的信息。。。。。。。某些工具（好比外地文档阅读器）返回的内容自己就相当冗长，，，，
，，，进一步撑大了整个对话窗口。。。。。。。随着轮次推进，，，，
，，，模子的注重力最先疏散，，，，
，，，越来越难以准确回忆早期对话中的要害信息和约束条件，，，，
，，，最终连一些本应简朴的办法也最先蜕化。。。。。。。这展现了一个目今大语言模子普遍保存的弱点：在超长对话中维持高度精准的前后一致性，，，，
，，，依然是未被很好解决的难题。。。。。。。 其中一组实验专门研究"手艺文档"的效果。。。。。。。在现实的AI助手生态中，，，，
，，，用户可以给AI配备针对特定应用的操作手册，，，，
，，，告诉它这个应用有哪些工具、各个参数是什么寄义、典范的操作流程是什么。。。。。。。研究团队测试了三种情形：不提供任何手册、提供从社区平台ClawHub下载的最盛行公共手艺文档、以及提供由研究职员手动全心编写的专属指南。。。。。。。 结论是：有手册比没手册好，，，，
，，，全心编写的手册比随意下载的公共手册更有用。。。。。。。以GPT-5在飞书使命上的体现为例，，，，
，，，没有手册时检查点准确率是37.5%，，，，
，，，用公共手册是42.5%，，，，
，，，用全心编写的手册则抵达45%。。。。。。。但即便云云，，，，
，，，这个提升也相当有限，，，，
，，，距离"令人知足"还差得很远。。。。。。。研究团队剖析指出，，，，
，，，公共平台上的手艺文档质量狼籍不齐，，，，
，，，有些内容已经由时，，，，
，，，形貌的接口参数不再与目今版本匹配，，，，
，，，反而可能误导模子。。。。。。。 另一组实验研究"工具数目"对体现的影响。。。。。。。给模子提供整个平台的140个工具，，，，
，，，照旧只给出目今使命现实需要用到的少量工具？？？？？？？效果显示，，，，
，，，工具越少，，，，
，，，模子体现反而越好，，，，
，，，尤其是在需要处置惩罚更长上下文的使命中这种趋势更显着。。。。。。。这说明工具过多会对模子造成认知肩负，，，，
，，，在大宗不相关工具中找到准确工具自己就是一项挑战。。。。。。。 尚有一组实验研究"滋扰信息"的影响。。。。。。。在提供应模子的上下文中特殊加入五段与使命无关的文字段落（来自维基百科形貌等文本库），，，，
，，，效果大大都模子的体现都有一定水平的下滑。。。。。。。这批注模子在信息筛选能力上保存显着短板，，，，
，，，容易被无关信息滋扰判断。。。。。。。 一项测评研究还需要回覆一个元问题：评判标准自己可靠吗？？？？？？？研究团队请人类专家对所有173个使命的970个检查点效果举行了自力评判，，，，
，，，并与AI裁判（GPT-4o）的评分举行比照剖析。。。。。。。 效果显示，，，，
，，，人类与AI裁判的整体一致率高达91.55%。。。。。。。分使命种别看，，，，
，，，长文档使命（Lark Long、Obsidian Long）的一致率略低于短使命，，，，
，，，电子邮件使命的一致率相对较低（13.73%的不同率）。。。。。。。纷歧致的情形主要来自两个缘故原由：其一，，，，
，，，AI裁判在涉及重大逻辑或细微语境的判断上无意力有未逮，，，，
，，，这属于模子能力自己的局限；；；；；
；其二，，，，
，，，AI裁判有时会由于模子使用了差别于参考谜底的工具（但最终效果准确）而过于严酷地扣分。。。。。。。总体而言，，，，
，，，这套评测系统的可靠性获得了起源验证，，，，
，，，但研究团队也忠实地指出了其保存的局限性，，，，
，，，以供后续研究刷新参考。。。。。。。 在效率与整天职析上，，，，
，，，研究团队也给出了有价值的发明。。。。。。。差别模子在完成一律难度使命时，，，，
，，，消耗的token数目（可明确为"思索量"）和爆发的挪用本钱差别悬殊。。。。。。。GPT-5在效率上体现突出，，，，
，，，平均每个使命破费约0.09美元，，，，
，，，检查点准确率抵达36.99%，，，，
，，，性价比在所有测试模子中最为精彩。。。。。。。研究结论是：纯粹堆砌盘算资源并不必定带来更好的效果，，，，
，，，在AI工具选型时，，，，
，，，准确率与本钱的综合权衡比纯粹追求"烧最多钱的模子"更为主要。。。。。。。 说究竟，，，，
，，，这项研究展现的不但是手艺层面的能力差别，，，，
，，，更是目今AI生长阶段与用户真实期望之间的鸿沟。。。。。。。人们期待AI能够真正融入小我私家数字生涯，，，，
，，，资助治理那些散落在飞书、小红书、Slack、Notion中的一样平常事务，，，，
，，，但现实是，，，，
，，，即便最强盛的模子，，，，
，，，在面临"你把账号交给我、我帮你打理"这种场景时，，，，
，，，仍然会频仍地找不到准确的人、用错平台、遗漏要害办法。。。。。。。 这不是对AI能力的否定，，，，
，，，而是对"还差在那里"的精准定位。。。。。。。MCP-Persona提供的是一个可复现、；；；；；
；ひ私、笼罩多类真实应用的标准化测试情形，，，，
，，，让研究者能够清晰地看到差别模子的详细短板，，，，
，，，并针对性地加以刷新。。。。。。。下一步，，，，
，，，怎样让AI学会自动探索情形、补全用户遗漏的细节、在多工具协作中坚持长程一致性，，，，
，，，将是这一领域最值得攻克的偏向。。。。。。。 A：MCP-Persona通过三套系统协同事情。。。。。。。工具模拟器方面，，，，
，，，研究团队现实运行了真实应用的API，，，，
，，，网络大宗真实操作纪录，，，，
，，，再让AI天生Python代码来复刻工具逻辑，，，，
，，，准确率抵达94%。。。。。。。情境树方面，，，，
，，，团队凭证真实应用的数据结构天生虚拟用户数据，，，，
，，，其中文本内容部分来自脱敏的真实网络内容，，，，
，，，敏感字段所有替换为虚伪数据。。。。。。。这两套机制连系，，，，
，，，既包管了情形的真实感，，，，
，，，又完全阻止了真实隐私数据的使用。。。。。。。 A：在MCP-Persona的测评效果中，，，，
，，，飞书（Lark）使命和小红书（Rednote）使命都属于难度较高的种别。。。。。。。飞书使命的主要挑战在于需要先通过手机号盘问用户的平台内部ID才华执行操作，，，，
，，，许多模子会跳过这个办法直接失败。。。。。。。小红书使命难在内容操作涉及重大的账号状态判断。。。。。。。体现最好的模子Claude-Sonnet-4.5在飞书使命上的准确率约为40%，，，，
，，，在小红书使命上约为42%，，，，
，，，整体仍处于较低水平。。。。。。。 A：有用果，，，，
，，，但提升幅度有限。。。。。。。以GPT-5在飞书使命上的测试为例，，，，
，，，不提供手册时准确率约37.5%，，，，
，，，使用社区果真手册提升到约42.5%，，，，
，，，使用研究团队全心编写的手册则抵达约45%。。。。。。。提升保存但并不显著，，，，
，，，缘故原由在于果真平台上的手册质量狼籍不齐，，，，
，，，部分内容已过时，，，，
，，，甚至会误导模子。。。。。。。研究结论是，，，，
，，，高质量、与使命高度对齐的专属操作指南比随意下载的公共资源更有价值。。。。。。。