这项由上海交通大学多智能体治理与智能团队（MAGIC实验室）联合浙江大学、伊利诺伊大学厄巴纳-香槟分校、牛津大学以及上海人工智能实验室配合完成的研究，，，，，，揭晓于2026年第43届国际机械学习大会（ICML 2026），，，，，，论文编号为arXiv:2606.02470。。。。。。。有兴趣深入相识的读者可通过该编号盘问完整论文。。。。。。。 你有没有想过，，，，，，让AI帮你治理一样平常的飞书日历、给小红书发帖、在Slack里给同事发新闻，，，，，，听起来应该不难吧？？？？事实这些AI已经能写诗、编程、解数学题了，，，，，，处置惩罚这点"小事"应该手到擒来。。。。。。。然而这项研究给出了一个让人意外的谜底：即即是现在全球最顶尖的AI模子，，，，，，在面临这类"小我私家账号治理"使命时，，，，，，准确率普遍不凌驾50%，，，，，，并且相当一部分使命险些完全失败。。。。。。。 这背后事实爆发了什么？？？？研究团队构建了一套名为MCP-Persona的测试平台，，，，，，专门用来磨练AI助手在真实小我私家应用场景中的现实体现。。。。。。。这不是那种让AI在网上搜索信息的简朴考试，，，，，，而是模拟真实的"你把自己的账号交给AI治理"的场景——AI需要在你的飞书里建设聚会，，，，，，在你的小红书里发内容，，，，，，在你的Slack频道里@同事，，，，，，同时还得弄清晰谁是谁、谁的ID是什么、哪个日历是主日历。。。。。。。研究效果清晰地展现了目今AI助手在个性化工具使用上的真实短板，，，，，，也为未来的刷新指明晰偏向。。。。。。。 要明确这项研究解决的是什么问题，，，，，，可以先想象这样一个场景：你雇了一个刚入职的助理，，，，，，第一天就让他帮你安排飞书聚会、通知群里的同事、更新Notion条记本里的项目妄想。。。。。。。这个助理智商很高，，，，，，能记着重大的聚会议程，，，，，，但他不知道你飞书里哪个日历是主日历，，，，，，不知道"小李"在飞书里的用户ID是什么，，，，，，也不知道你的小红书账号发帖时用的是哪个标签气概。。。。。。。效果呢？？？？他可能会把聚会建在过失的日历上，，，，，，把新闻发给过失的人，，，，，，或者爽性由于找不到须要的信息而卡住不动。。。。。。。 这正是目今AI助手面临的逆境。。。。。。。研究团队注重到，，，，，，现在学术界对AI工具使用能力的评测，，，，，，基本都集中在"通用信息盘问"这类使命上，，，，，，好比让AI搜索天气、盘问股票、翻译文字。。。。。。。这类使命有个配合特点：工具是果真的、无需账号的、与用户小我私家信息无关的。。。。。。。然而现实生涯中，，，，，，人们最希望AI资助处置惩罚的，，，，，，恰恰是那些与小我私家账号细密相关的使命——治理邮件、发社交媒体、协调团队日程。。。。。。。这类使命有三个焦点难点。。。。。。。 第一个难点是"账号绑定"，，，，，，这些工具必需登录特定账号才华使用，，，，，，而每个账号里的数据结构、权限设置、实体关系（好比某个群里有哪些成员）都完全差别，，，，，，没有统一的模板可循。。。。。。。第二个难点是"隐私壁垒"，，，，，，真实的小我私家数据无法果真共享用于研究，，，，，，这让构建一个果真可复现的测试平台变得极为难题。。。。。。。第三个难点是"情形重大性"，，，，，，这些应用的状态是动态转变的，，，，，，AI执行的每一个操作都可能改变情形状态，，，，，，后续操作必需依赖前面操作的效果，，，，，，任何一步蜕化都会影响整个链条。。。。。。。 正是这三重难点叠加，，，，，，导致了一个令人尴尬的研究空缺：学术界险些没有任何一个像样的测评基准专门针对"小我私家账号治理类"AI使命，，，，，，只管这类使命在现实中的需求量重大。。。。。。。MCP-Persona就是为了填补这个空缺而降生的。。。。。。。 研究团队面临的焦点挑战是：怎样在不使用真适用户数据的条件下，，，，，，建设一个足够逼真的测试情形来考察AI的真实能力？？？？他们的解决计划是构建一套细密的模拟系统，，，，，，整个系统由三个相互配合的部分组成，，，，，，就像搭建一个细密剧本演出所需的舞台、演员和剧情一样。。。。。。。 第一部分叫做"工具模拟器"（Tool-Traverse），，，，，，认真建设虚拟版本的真实应用程序工具。。。。。。。研究团队首先网络了12个真实的小我私家应用MCP效劳器，，，，，，涵盖社交媒体（小红书、Reddit、Instagram）、企业协作平台（飞书Lark、Slack、企业微信WeCom）、内容治理工具（Notion、Obsidian）以及电子邮件效劳，，，，，，别的还整合了12个通用信息盘问效劳器（如高德地图、百度地图、医疗信息盘问等），，，，，，共计24个效劳器。。。。。。。 要模拟这些工具，，，，，，团队接纳了一个"先探索、再复刻"的战略。。。。。。。他们首先手动安排真实的应用情形和测试账号，，，，，，由人工标注员结构一批"种子函数挪用"——也就是示例操作指令，，，，，，好比"获取某个飞书日历下的所有事务"。。。。。。。接着引入了一种受"自我指令"要领启发的手艺（Self-FC），，，，，，让AI模子自动天生更多样化的操作指令，，，，，，既包括正常乐成的指令，，，，，，也包括种种会失败的过失指令，，，，，，好比类型过失、缺少必填字段、参数凌驾规模、参数之间逻辑矛盾等四类典范过失。。。。。。。 网络到大宗真实操作及其对应响应效果后，，，，，，团队让AI模子剖析这些"行为轨迹"，，，，，，自动天生Python代码来模拟每个工具的处置惩罚逻辑。。。。。。。这段天生的代码既能准确处置惩罚正当请求，，，，，，也能准确复现种种过失情形下的报错信息。。。。。。。验证效果批注，，，，，，这套模拟器与真实工具的行为一致率高达94%，，，，，，而仅仅依赖阅读文档来推测工具行为的比照要领，，，，，，一致率只有58%。。。。。。。；；；；痪浠八担，，，，，光看说明书远不敷，，，，，，真正"把工具用一遍"才华明确它的所有性情。。。。。。。 第二部分叫做"情境树"（Context-Tree），，，，，，认真建设每个虚拟用户的小我私家数据档案。。。。。。。研究团队为每个应用程序界说了一套树状的数据结构，，，，，，清晰地形貌用户数据的层级关系。。。。。。。以飞书为例，，，，，，结构是"用户→日历→日程事务"；；；；；以小红书为例，，，，，，结构是"用户→帖子→谈论"；；；；；以Slack为例，，，，，，结构是"用户→频道→新闻"。。。。。。。 填充这棵树的方法颇为考究。。。。。。。关于需要随机ID的字段，，，，，，系统会凭证真实名堂自动天生；；；；；关于地名、都会等有限选项的字段，，，，，，从预设列表中抽样；；；；；关于自由文本字段，，，，，，由AI模子依据上下文自由天生；；；；；而关于需要体现真实感的内容性字段（好比小红书帖子的正文），，，，，，团队直接接纳了经由脱敏处置惩罚的真实网络内容。。。。。。。敏感字段如电话号码则所有替换为虚伪数据以保；；；；ひ私。。。。。。。这棵情境树不是静态的，，，，，，AI助手执行的每个建设、修改、删除操作都会实时更新树的内容，，，，，，从而真实模拟多轮交互中数据的转变状态。。。。。。。 第三部分叫做"使命天生器"（Persona-Gen），，，，，，认真创作真实可信的测试使命。。。。。。。这是整个系统最磨练人工加入的环节。。。。。。。研究团队首先通过拓扑采样要领，，，，，，从工具之间的依赖关系图中筛选出合理的工具挪用链，，，，，，确保每条链知足五个条件：工具之间保存真实的逻辑依赖、链条中至少包括一个小我私家账号工具、差别链条之间不重复、上下游工具的输入输出能够衔接、整体场景切合现实使用逻辑。。。。。。。 基于这些工具链，，，，，，系统自动天生"原型指令"，，，，，，再将情境树中的详细数据值填入，，，，，，获得详细化的使命形貌。。。。。。。接下来是最要害的"模糊化"处置惩罚：刻意删去真适用户在一样平常对话中不会说出口的参数细节，，，，，，好比用户ID、日历ID这类手艺性标识符。。。。。。。一个真适用户会说"帮我给我的上司宋柯发个飞书新闻"，，，，，，而不会说"帮我挪用im_v1_message_create接口，，，，，，向user_id为o9k5jtwo的用户发送新闻"。。。。。。。这种"模糊化"处置惩罚模拟了现实中指令的自然性和不完整性，，，，，，正是AI需要应对的真实挑战。。。。。。。 最终，，，，，，所有自动天生的使命都经由人工标注员的逐一审核、修改和打磨，，，，，，确保每个使命在逻辑上完全自洽，，，，，，在难度上足够有挑战性，，，，，，在表达上真实反应用户的一样平常语言习惯。。。。。。。经由这道严酷的人工关卡，，，，，，共爆发173个高质量测试使命，，，，，，平均每个使命需要挪用多个工具，，，，，，并包括若干需要从情形中自主发明的隐性信息。。。。。。。 测试平台就位后，，，，，，研究团队约请了凌驾十款当今最顶尖的AI模子来加入这场审核，，，，，，阵容相当豪华。。。。。。。商业闭源模子方面，，，，，，GPT-5、Claude-Sonnet-4.5、Claude-Opus-4.1、o4-mini、o3、GPT-4o、Grok-4、Gemini-3-Pro、Gemini-2.5-Pro悉数登场。。。。。。？？？？茨Ｗ臃矫妫，，，，，Qwen3-Max-Latest、Qwen3-235B-A22B、DeepSeek-V3、Qwen3-Coder也一同加入。。。。。。。每款模子都以相同的使命和工具荟萃为输入，，，，，，最多允许举行20轮工具挪用来完成使命。。。。。。。 评分系统分三个维度。。。。。。。第一个维度是"检查点准确率"，，，，，，将每个使命剖析成若干个子目的检查点，，，，，，由另一个AI模子（GPT-4o）担当裁判，，，，，，对每个检查点自力打分，，，，，，取平均值作为使命得分。。。。。。。第二个维度是"乐成率"，，，，，，权衡模子得分凌驾0.8的使命比例，，，，，，可以明确为"基本完成使命"的比率。。。。。。。第三个维度是"执行准确率"，，，，，，直接检查模子对数据库的现实操作效果——建设了什么、修改了什么、删除了什么——是否切合预期，，，，，，这是最直接、最客观的评判标准。。。。。。。 效果令人警醒。。。。。。。体现最好的Claude-Sonnet-4.5，，，，，，检查点准确率是38.66%，，，，，，GPT-5以36.99%紧随厥后。。。。。。。；；；；痪浠八担，，，，，即即是全球最顶尖的AI模子，，，，，，平均而言也只能准确完成使命中不到四成的目的办法。。。。。。。"乐成率"这个指标更惨，，，，，，Claude-Sonnet-4.5的乐成率是10.40%，，，，，，意味着只有约莫十分之一的使命能被完整地基本完成。。。。。。。没有任何一个模子的准确率凌驾50%。。。。。。。 从使命类型看，，，，，，电子邮件使命是模子体现相对最好的一类，，，，，，由于邮件的操作逻辑相对简朴，，，，，，依赖链条也较短。。。。。。。社交媒体和企业协作平台的使命则更具挑战性，，，，，，由于涉及跨用户的交互和重大的实体关系识别。。。。。。。内容治理类工具（Notion、Obsidian）的体现最差，，，，，，模子在面临长篇文档的导航和编辑时尤为辛苦。。。。。。。 跨应用使命（Cross-Server Tasks）的难度进一步升级：需要同时操作飞书和小红书的使命，，，，，，或者需要将高德地图的蹊径信息写入Obsidian条记再通知Slack频道的复合使命，，，，，，对所有模子都是严肃磨练。。。。。。。其中"杂烩"场景（恣意组合多个应用的使命）是最难的一类，，，，，，险些所有模子在这里都跌入低谷。。。。。。。 通太过析大宗失败案例，，，，，，研究团队总结出三种重复泛起的典范失败模式，，，，，，每种模式都展现了AI在个性化工具使用上的特定短板。。。。。。。 第一种失败模式叫"浅尝辄止，，，，，，不深挖情形"。。。。。。。许多使命中，，，，，，用户的指令并不会把所有须要信息说清晰，，，，，，AI需要自动去探索情形中已有的数据来补全这些信息。。。。。。。但实验中大宗的弱模子选择了"就近解决"的战略——凭证外貌指令天生一个看起来合理但现实上过失的操作，，，，，，然后就此收手，，，，，，基础不去验证缺失的信息是否可以从情形中找到。。。。。。。 一个典典范子是：使命要求"给我的上司宋柯发一条飞书新闻，，，，，，诠释我的请假缘故原由"，，，，，，同时情形数据中存储着宋柯的飞书用户ID（o9k5jtwo）。。。。。。。弱模子的做法是：绕过飞书，，，，，，直接发了一条企业微信新闻，，，，，，收件人照旧凭空捏造的——使命外貌上"完成"了，，，，，，现实上平台错了、收件人也错了，，，，，，彻底失败。。。。。。。准确的做法应该是：先挪用工具盘问飞书的联系人列表，，，，，，找到宋柯对应的ID，，，，，，再挪用飞书新闻发送接口。。。。。。。 第二种失败模式叫"跳过隐含的前置办法"。。。。。。。飞书的许多操作需要先用手机号查找用户的平台内部ID，，，，，，再用这个ID来执行详细操作。。。。。。。准确的事情流程是两步：先挪用user_batchGetId工具把手机号转成用户ID，，，，，，再把这个ID传给calendarEvent_create工具来建设日程并指定主持人。。。。。。。但许多模子会跳过第一步，，，，，，直接把手机号当成用户ID填进去，，，，，，或者爽性伪造一个ID，，，，，，效果要么报错，，，，，，要么在没有过失提醒的情形下静默失败——最糟糕的情形，，，，，，由于没有报错，，，，，，模子甚至不知道自己已经失败了。。。。。。。 第三种失败模式叫"上下文越长越迷糊"。。。。。。。情境树设计确保了AI在与各个工具交互时，，，，，，上下文中会积累越来越多的信息。。。。。。。某些工具（好比外地文档阅读器）返回的内容自己就相当冗长，，，，，，进一步撑大了整个对话窗口。。。。。。。随着轮次推进，，，，，，模子的注重力最先疏散，，，，，，越来越难以准确回忆早期对话中的要害信息和约束条件，，，，，，最终连一些本应简朴的办法也最先蜕化。。。。。。。这展现了一个目今大语言模子普遍保存的弱点：在超长对话中维持高度精准的前后一致性，，，，，，依然是未被很好解决的难题。。。。。。。 其中一组实验专门研究"手艺文档"的效果。。。。。。。在现实的AI助手生态中，，，，，，用户可以给AI配备针对特定应用的操作手册，，，，，，告诉它这个应用有哪些工具、各个参数是什么寄义、典范的操作流程是什么。。。。。。。研究团队测试了三种情形：不提供任何手册、提供从社区平台ClawHub下载的最盛行公共手艺文档、以及提供由研究职员手动全心编写的专属指南。。。。。。。 结论是：有手册比没手册好，，，，，，全心编写的手册比随意下载的公共手册更有用。。。。。。。以GPT-5在飞书使命上的体现为例，，，，，，没有手册时检查点准确率是37.5%，，，，，，用公共手册是42.5%，，，，，，用全心编写的手册则抵达45%。。。。。。。但即便云云，，，，，，这个提升也相当有限，，，，，，距离"令人知足"还差得很远。。。。。。。研究团队剖析指出，，，，，，公共平台上的手艺文档质量狼籍不齐，，，，，，有些内容已经由时，，，，，，形貌的接口参数不再与目今版本匹配，，，，，，反而可能误导模子。。。。。。。 另一组实验研究"工具数目"对体现的影响。。。。。。。给模子提供整个平台的140个工具，，，，，，照旧只给出目今使命现实需要用到的少量工具？？？？效果显示，，，，，，工具越少，，，，，，模子体现反而越好，，，，，，尤其是在需要处置惩罚更长上下文的使命中这种趋势更显着。。。。。。。这说明工具过多会对模子造成认知肩负，，，，，，在大宗不相关工具中找到准确工具自己就是一项挑战。。。。。。。 尚有一组实验研究"滋扰信息"的影响。。。。。。。在提供应模子的上下文中特殊加入五段与使命无关的文字段落（来自维基百科形貌等文本库），，，，，，效果大大都模子的体现都有一定水平的下滑。。。。。。。这批注模子在信息筛选能力上保存显着短板，，，，，，容易被无关信息滋扰判断。。。。。。。 一项测评研究还需要回覆一个元问题：评判标准自己可靠吗？？？？研究团队请人类专家对所有173个使命的970个检查点效果举行了自力评判，，，，，，并与AI裁判（GPT-4o）的评分举行比照剖析。。。。。。。 效果显示，，，，，，人类与AI裁判的整体一致率高达91.55%。。。。。。。分使命种别看，，，，，，长文档使命（Lark Long、Obsidian Long）的一致率略低于短使命，，，，，，电子邮件使命的一致率相对较低（13.73%的不同率）。。。。。。。纷歧致的情形主要来自两个缘故原由：其一，，，，，，AI裁判在涉及重大逻辑或细微语境的判断上无意力有未逮，，，，，，这属于模子能力自己的局限；；；；；其二，，，，，，AI裁判有时会由于模子使用了差别于参考谜底的工具（但最终效果准确）而过于严酷地扣分。。。。。。。总体而言，，，，，，这套评测系统的可靠性获得了起源验证，，，，，，但研究团队也忠实地指出了其保存的局限性，，，，，，以供后续研究刷新参考。。。。。。。 在效率与整天职析上，，，，，，研究团队也给出了有价值的发明。。。。。。。差别模子在完成一律难度使命时，，，，，，消耗的token数目（可明确为"思索量"）和爆发的挪用本钱差别悬殊。。。。。。。GPT-5在效率上体现突出，，，，，，平均每个使命破费约0.09美元，，，，，，检查点准确率抵达36.99%，，，，，，性价比在所有测试模子中最为精彩。。。。。。。研究结论是：纯粹堆砌盘算资源并不必定带来更好的效果，，，，，，在AI工具选型时，，，，，，准确率与本钱的综合权衡比纯粹追求"烧最多钱的模子"更为主要。。。。。。。 说究竟，，，，，，这项研究展现的不但是手艺层面的能力差别，，，，，，更是目今AI生长阶段与用户真实期望之间的鸿沟。。。。。。。人们期待AI能够真正融入小我私家数字生涯，，，，，，资助治理那些散落在飞书、小红书、Slack、Notion中的一样平常事务，，，，，，但现实是，，，，，，即便最强盛的模子，，，，，，在面临"你把账号交给我、我帮你打理"这种场景时，，，，，，仍然会频仍地找不到准确的人、用错平台、遗漏要害办法。。。。。。。 这不是对AI能力的否定，，，，，，而是对"还差在那里"的精准定位。。。。。。。MCP-Persona提供的是一个可复现、保；；；；ひ私、笼罩多类真实应用的标准化测试情形，，，，，，让研究者能够清晰地看到差别模子的详细短板，，，，，，并针对性地加以刷新。。。。。。。下一步，，，，，，怎样让AI学会自动探索情形、补全用户遗漏的细节、在多工具协作中坚持长程一致性，，，，，，将是这一领域最值得攻克的偏向。。。。。。。 A：MCP-Persona通过三套系统协同事情。。。。。。。工具模拟器方面，，，，，，研究团队现实运行了真实应用的API，，，，，，网络大宗真实操作纪录，，，，，，再让AI天生Python代码来复刻工具逻辑，，，，，，准确率抵达94%。。。。。。。情境树方面，，，，，，团队凭证真实应用的数据结构天生虚拟用户数据，，，，，，其中文本内容部分来自脱敏的真实网络内容，，，，，，敏感字段所有替换为虚伪数据。。。。。。。这两套机制连系，，，，，，既包管了情形的真实感，，，，，，又完全阻止了真实隐私数据的使用。。。。。。。 A：在MCP-Persona的测评效果中，，，，，，飞书（Lark）使命和小红书（Rednote）使命都属于难度较高的种别。。。。。。。飞书使命的主要挑战在于需要先通过手机号盘问用户的平台内部ID才华执行操作，，，，，，许多模子会跳过这个办法直接失败。。。。。。。小红书使命难在内容操作涉及重大的账号状态判断。。。。。。。体现最好的模子Claude-Sonnet-4.5在飞书使命上的准确率约为40%，，，，，，在小红书使命上约为42%，，，，，，整体仍处于较低水平。。。。。。。 A：有用果，，，，，，但提升幅度有限。。。。。。。以GPT-5在飞书使命上的测试为例，，，，，，不提供手册时准确率约37.5%，，，，，，使用社区果真手册提升到约42.5%，，，，，，使用研究团队全心编写的手册则抵达约45%。。。。。。。提升保存但并不显著，，，，，，缘故原由在于果真平台上的手册质量狼籍不齐，，，，，，部分内容已过时，，，，，，甚至会误导模子。。。。。。。研究结论是，，，，，，高质量、与使命高度对齐的专属操作指南比随意下载的公共资源更有价值。。。。。。。