这项由中央大学、韩国科学手艺院（KAIST）、首尔国立大学、OnelineAI、NAVER Cloud AI和卡内基梅隆大学联合完成的研究，，，，，于2026年6月揭晓，，，，，论文编号为arXiv:2606.02404。。。。研究团队宣布了一个名为K-BROWSECOMP的基准测试集，，，，，专门用于丈量AI在韩语网络情形中的"侦查"能力。。。。 要弄清晰这项研究在做什么，，，，，无妨把整件事想象成一场侦探游戏。。。。一名优异的侦探，，，，，不但要能读懂线索，，，，，还要能在茫茫信息海洋中顺着蛛丝马迹，，，，，一起追踪到最终的谜底。。。。这项研究的焦点问题就是：当今最强盛的AI，，，，，在韩语这片"信息森林"里，，，，，事实算是一名及格的侦探，，，，，照旧一个迷路的新手？？？ 谜底几多有些令人意外——就连全球公认最强盛的AI模子，，，，，在这套测试里也只能答对不到一半的问题，，，，，而韩国本土的AI模子，，，，，体现甚至越发阴晦。。。。 在AI领域，，，，，评估一个模子的能力，，，，，通常要靠"基准测试"——也就是一套专门设计的问题，，，，，就像期末考试一样，，，，，用来磨练AI究竟学得好欠好。。。。已往几年，，，，，全球最顶尖的AI实验室已经把评估重心从"会不会做阅读明确"转移到了"能不可像人一样自主完成重大使命"。。。。后者被称为"智能体评估"，，，，，考察的是AI在多个办法之间协调配合、自主决议的能力，，，，，就像考察一名侦探能不可重新到尾自力破案，，，，，而不但仅是熟悉几个单词。。。。 然而，，，，，在这场评估革掷中，，，，，韩语AI界却有些落伍。。。。韩国现在的AI测试，，，，，大多还停留在"考词汇、考阅读"的阶段，，，，，缺乏针对重大使命的测试工具。。。。这造成了一个现实逆境：研究者们无法准确知道，，，，，韩国本土的AI在面临真适用户需求时，，，，，事实体现怎样。。。。 这种缺失不但仅是手艺上的遗憾，，，，，背后尚有更深层的现实考量。。。。韩国的语言使用生齿相对有限，，，，，网络上的韩语内容在规模和笼罩面上自然不如英语，，，，，这意味着当用户需要盘问韩国外地的机构信息、文化知识、地理数据时，，，，，AI的体现可能远不如处置惩罚英语问题时稳固。。。。；；；；痪浠八，，，，，韩国用户在使用AI助手时，，，，，面临的是一种结构性的信息不一律。。。。 正是为了填补这个空缺，，，，，研究团队建设了K-BROWSECOMP，，，，，一套专门针对"韩语网络搜索智能体"的测试集，，，，，用400道全心设计的问题，，，，，磨练AI能否在韩语互联网的重大情形中，，，，，像一名熟练的侦探一样找到准确谜底。。。。 K-BROWSECOMP的设计灵感来自一个已有的英语测试项目BrowseComp，，，，，但它并不是简朴的翻译。。。。研究团队特殊强调，，，，，这套问题必需"扎根于韩国语境"，，，，，也就是说，，，，，每道题都要涉及韩国特有的机构、文化征象、教育系统、地方地理或媒体内容，，，，，单靠查英语资料或依赖通用知识基础无法作答。。。。 每道题都必需知足几个严酷标准。。。。谜底必需是唯一的、不会随时间转变的详细信息，，，，，并且必需可以在果真的网页上找到文字证据。。。。问题不可直接通过搜索要害词找到谜底——必需经由至少四个办法的推理或同时知足至少四个自力条件，，，，，才华锁定准确谜底。。。。 这套测试包括两种题型，，，，，它们代表了两种差别的侦探事情模式。。。。第一种叫做"多跳推理"，，，，，就像侦探顺着线索链条一步一步追踪：先找到A，，，，，用A去找B，，，，，用B再去找C，，，，，最终得出谜底。。。。第二种叫做"并行约束知足"，，，，，就像侦探面临一群嫌疑人，，，，，必需同时核实多个自力条件，，，，，找出唯一同时知足所有条件的那一小我私家。。。。 以论文中给出的两个示例来感受一下难度。。。。第一道题是这样的：2025年刊行的某张专辑的第四首歌曲，，，，，问题去掉空格后是五个字，，，，，歌词中泛起了七次"???"（没关系），，，，，这首歌是什么？？？第二道题则更为重大：韩国教育课程评估院2018年6月针对高三学生举行的模拟考试，，，，，国语科目第29题考察的作品，，，，，该作品的诗人在生前出书的第十本诗集中，，，，，排在第十三位的那首诗，，，，，问题是什么？？？ 测试集分为两个部分。。。。第一部分是"已验证子集"，，，，，共300道题，，，，，所有由真人韩语母语者手工编写和验证。。。。研究团队召集了17名标注职员，，，，，包括研究职员和非研究职员，，，，，给他们一份详细的编写指南，，，，，要求他们从一个已知的目的事实出发，，，，，反向设计出一道难以直接搜索但谜底容易核实的问题。。。。 这个"反向设计"的思绪很是要害，，，，，好比一名出题先生已经知道谜底是"埃菲尔铁塔建于1889年"，，，，，然后绕开这个信息，，，，，设计一道需要通过五步推理才华得出这个谜底的问题，，，，，而不是直接问"埃菲尔铁塔建于哪年"。。。。 编写完成的问题要经由严酷的审核流程。。。。研究团队会逐一检查每道题的金标准谜底、中心实体和引用泉源是否都能在果真网页上找到。。。。若是证据无法会见、不充分或相互矛盾，，，，，问题就会被退回给原作者修改。。。。审核历程中尚有一道特别的关卡：若是基线AI模子给出了一个和标准谜底差别但同样合理的谜底，，，，，研究团队会人工判断这个谜底是否也建设，，，，，若是建设，，，，，问题必需修改或删除，，，，，以确保每道题的谜底确实是唯一的。。。。 最终通过审核的300道题，，，，，笼罩了10个种别。。。。娱乐与媒体是最大的种别，，，，，有109道题，，，，，占比凌驾三分之一。。。。其次是所在与地区48道，，，，，教育与考试35道，，，，，体育与游戏26道，，，，，科技与学术20道，，，，，美食餐饮19道，，，，，文学与语言15道，，，，，产品与品牌14道，，，，，历史文化10道，，，，，以及经济与政策4道。。。。在题型漫衍上，，，，，多跳推理题160道占53.3%，，，，，并行约束题140道占46.7%，，，，，两者相对平衡。。。。 加入编写的非研究职员凭证每10至15道题约100,000韩元（约合60至70美元）的标准获得酬金，，，，，这个金额对应约莫4小时的事情量，，，，，高于2025年韩王法定最低时薪。。。。 研究团队选取了全球11个主流AI模子举行测试，，，，，笼罩关闭源模子和开源模子两大阵营，，，，，以及专门针对韩语优化的本土模子。。。。所有模子使用统一的测试框架，，，，，每个问题最多允许举行10次网络搜索，，，，，并且只有一次回覆时机。。。。 这些数字单独看似乎还好，，，，，但一旦和同样这些模子在英语版BrowseComp上的效果较量，，，，，差别就显得惊心动魄了。。。。GPT-5.5在英语版BrowseComp上得分84.4%，，，，，换到韩语版直接掉到了45.67%，，，，，降幅快要40个百分点。。。。DeepSeek-V4-Pro在英语版得分83.4%，，，，，在韩语版只有30.00%，，，，，险些腰斩。。。。这种断崖式下滑，，，，，清晰地批注这些模子并没有真正掌握韩语网络情形的特殊性，，，，，而不是通俗的随机波动。。。。 最令人印象深刻的是韩国本土模子的体现。。。。K-EXAONE-236B-A23B是一个参数目高达2360亿（其中约230亿为激活参数）的重大模子，，，，，也是韩国政府"自主AI基础模子项目"资助的效果之一，，，，，但它在这套测试里只得了10.33%。。。。A.X-4.0得分5.33%，，，，，HyperCLOVAX-SEED-Think-32B得分2.33%，，，，，而Kanana-2-30B-A3B-Thinking-2601则得了0分，，，，，完全没有答对任何一道题。。。。韩国本土模子整体得分规模在0%至10.33%之间，，，，，与全球顶尖模子相比，，，，，差别凌驾了35个百分点。。。。 研究团队还特殊盘算了每个模子的"校准误差"，，，，，这个指标权衡的是模子对自己谜底的自信水平是否合理。。。。若是一个模子对一个过失谜底很是自信，，，，，或者对一个准确谜底很是不确定，，，，，校准误差就会很高。。。。HyperCLOVAX-SEED-Think-32B的校准误差高达77.37%，，，，，意味着它的自信水平和现实体现严重脱节，，，，，经常在答错的时间反而最自信。。。。GPT-5.5在这个维度上体现相对较好，，，，，校准误差为31.86%，，，，，在高准确率和合理自信之间取得了相对较好的平衡。。。。 光有分数还不敷，，，，，研究团队还深入剖析了模子的"侦查历程"，，，，，试图找出它们事实在哪一步走错了路。。。。经由大宗的人工审查，，，，，他们归纳出了九种典范的失败模式，，，，，形成了一套系统的"过失分类表"。。。。 第一种失败是"轨迹不完整或输特殊式过失"，，，，，最极端的情形——模子压根没能走完整个搜索流程，，，，，或者最终没能给出一个名堂准确的谜底，，，，，就像侦探还没勘探完现场就宣布放弃了。。。。第二种是"初始搜索偏向无效"，，，，，模子一最先就选错了搜索战略，，，，，就像侦探在面临一起爆发在图书馆的案子时，，，，，第一反应是去检查停车场的监控，，，，，完全跑偏了偏向。。。。第三种是"搜索会见结构失败"，，，，，指模子无法会见隐藏在重大页面结构后面的证据，，，，，好比需要按特定顺序排列内容才华看到的信息。。。。第四种是"跨源跳转失败"，，，，，指模子无法未来自差别网站的证据拼接在一起，，，，，就像侦探能划分看懂两份文件，，，，，却不知道这两份文件讲的是统一小我私家。。。。第五种是"半结构化页面剖析失败"，，，，，指模子在面临表格、排名、数据库等名堂化内容时，，，，，读错了数据——好比看着一张效果单，，，，，却把第三名的分数记成了第一名的。。。。第六种是"搜索效果选择失败"，，，，，指模子找到了相关证据，，，，，但选错了详细泉源或候选谜底，，，，，就像侦探找到了几个嫌疑人但指认错了人。。。。第七种是"希罕实体归一化失败"，，，，，指模子无法准确识别有数人名、又名、差别拼写方法或历史名称，，，，，好比一个历史人物有好几种差别的写法，，，，，模子却以为是差别的人。。。。第八种是"约束追踪失败"，，，，，指模子找到了部分候选谜底，，，，，却没能验证所有条件都获得知足——这是最常见也最致命的问题之一。。。。第九种是"中心推理失败"，，，，，指在需要举行日期盘算、排序、计数或较量的办法中蜕化。。。。 研究团队进一步视察到，，，，，许多过失并不爆发在搜索阶段，，，，，而是爆发在搜索之后。。。。；；；；痪浠八，，，，，模子往往已经找到了准确的证据，，，，，却在处置惩罚这些证据的历程中出了问题。。。。这个发明很是要害，，，，，由于它意味着仅仅改善搜索能力是不敷的，，，，，真正需要解决的是模子在多步推理历程中维持"证据状态"的能力。。。。 第一种叫"候选人过早锁定"。。。。这爆发在模子在验证完所有上游条件之前，，，，，就把注重力锁定在某个看似合理的候选谜底上。。。。以后的所有搜索都围绕这个候选谜底睁开，，，，，酿成了"找证据来支持我的推测"，，，，，而不是"继续寻找真相"。。。。一旦提交，，，，，这个谜底外貌上看有证据支持，，，，，现实上却违反了问题的完整要求。。。。 第二种叫"证据分支未合并"。。。。模子对每个条件划分举行了搜索，，，，，每次搜索都建设了一个自力的证据分支，，，，，但这些分支从未被汇总到统一个候选名单里举行交织比对。。。。轨？？？雌鹄春芟低，，，，，似乎每个线索都查了，，，，，但候选名单在每一步之后都是杂乱的，，，，，最终给出的谜底着实没有通过所有条件的验证。。。。 第三种叫"中心效果角色绑定过失"。。。。模子沿着一条看似合理的搜索链条走下去，，，，，却在某其中心办法把一个效果套用到了过失的角色上。。。。特殊是当问题需要在差别办法之间切换实体类型时，，，，，一个高曝光度的实体很容易"抢占"本应属于另一个目的实体的位置，，，，，导致最后的谜底虽然在局部逻辑上说得通，，，，，但整个推理链条着实早就偏离了轨道。。。。 研究团队对此举行了专门剖析，，，，，结论是：搜索次数并不是主要瓶颈。。。。数据显示，，，，，关于大大都模子，，，，，答错的题比答对的题使用了更多的搜索次数，，，，，并且往往靠近10次的上限。。。。GPT-5.5在答对的题上平均用了7.08次搜索，，，，，在答错的题上平均用了9.30次——答错时搜得更多，，，，，但仍然没有找到谜底。。。。DeepSeek-V4-Pro的数据是7.47次对9.80次，，，，，Gemma-4-31B-IT是5.20次对8.10次。。。。 这个发明说明，，，，，模子在答错的题上并不是由于"搜索不敷起劲"而失败的，，，，，而是由于即便搜索了许多次，，，，，依然无法有用地把信息整合起来。。。。搜索量是乐成的弱展望因子，，，，，真正的要害在于模子能否在多次搜索之间维持一致的候选荟萃、约束条件和实体角色状态。。。。 几个韩国本土模子在这方面的体现尤为值得关注。。。。A.X-4.0在答对和答错的问题上，，，，，平均搜索次数划分只有2.38次和1.43次，，，，，远低于其他模子，，，，，说明它往往在实验未几的情形下就提前放弃了搜索。。。。HyperCLOVAX-SEED-Think-32B在答对和答错的问题上搜索次数险些没有差别，，，，，划分是6.71次和6.84次，，，，，说明它的问题不在于搜索起劲水平，，，，，而在于无法从搜索效果中稳固地提炼出最终谜底。。。。Kanana-2-30B-A3B-Thinking-2601则越发特殊，，，，，它经常连有用的工具挪用名堂都无法准确输出，，，，，导致许多搜索基础没能执行，，，，，这是一种最基础的协议层面的失败，，，，，与内容明确能力无关。。。。 这个问题背后有一个主要的信息差池称：关于网络搜索类使命，，，，，解题可能很是难题，，，，，但一旦知道了准确谜底和证据路径，，，，，验证一个候选谜底就相对容易了。。。。研究团队以为，，，，，这种差池称同样保存于出题端——若是已经有了一个目的谜底和对应的网页，，，，，反向设计出一道难题，，，，，是否比正向找到谜底更容易？？？ 为了验证这个想法，，，，，他们让一个能上网的AI智能体（使用claude-opus-4.7）饰演出题者的角色。。。。这个AI的事情流程如下：先会见一个目的网页，，，，，然后以"逆向设计"的方法编写一道问题——也就是从谜底出发，，，，，构建一条需要多步推理才华抵达谜底的问题路径，，，，，同时刻意隐藏谜底自己、泉源网址和页面上最显眼的实体名称，，，，，并且针对已经归纳出的某个特定失败模式来设计难点。。。。每道题经由至多四轮"底稿→测试→修改"的迭代才华定稿。。。。 每道候选题必需通过三道顺序排列的过滤关卡，，，，，只要未能通过恣意一关，，，，，就会被退回修改。。。。第一关是"可搜索性测试"：让AI自己搜几下，，，，，若是谜底直接泛起在搜索效果里，，，，，说明问题太容易，，，，，需要改写成更难被直接找到的版本。。。。第二关是"良构性测试"：给一个"参考解题者"完整的目的网页和问题，，，，，看它能不可从页面中唯一、可靠地找到谜底，，，，，确保问题的谜底是客观保存且不歧义的。。。。第三关是"对抗难度测试"：让一个只能上网搜索、不可直接会见目的页面的"搜索解题者"来作答，，，，，只有当GPT-5.4-mini和Gemini-3-flash-preview两个模子都答错（包括答错和明确体现不知道两种情形），，，，，这道题才算通过。。。。 在268道候选题中，，，，，最终有100道通过了所有过滤，，，，，通过率约37.3%。。。。这100道题的主要难点集中在第五种失败模式"半结构化页面剖析"（59道）和第八种"约束追踪"（21道），，，，，其次是第三种"搜索会见结构失败"（14道）和第九种"中心推理失败"（13道）。。。。被镌汰的168道题，，，，，主要失败缘故原由是谜底在搜索效果中太容易被直接找到，，，，，尚有66道是由于其中一个模子答对了，，，，，无法知足"两个模子都答错"的要求。。。。 这100道机械天生的问题，，，，，在内容漫衍上与人工验证的300道有所差别。。。。娱乐与媒体类问题的比例从36.3%大幅降至9.0%，，，，，而科技与学术类问题的比例则从6.7%猛增至33.0%。。。。问题的平均字符数也从174.46增添到了248.40，，，，，变得更长、更重大。。。。研究团队还用向量相似度的方法测试两组问题的漫衍差别，，，，，发明一个简朴的分类器仅凭问题文本就能以0.8873的高精度区分两组问题，，，，，说明它们在气概和领域上确实有显着差别。。。。正因云云，，，，，这100道合成题被单独报告，，，，，作为一套增补性的"压力测试"，，，，，而不是直接与人工题合并盘算。。。。 在这套压力测试上，，，，，所有模子的得分都在0%到26%之间，，，，，没有任何模子凌驾30%。。。。GPT-5.5在这套题上得了26%，，，，，DeepSeek-V4-Pro得22%，，，，，GLM-5.1得19%，，，，，而GPT-5.4-mini由于在出题过滤阶段就被设置为"必需答错"的目的模子，，，，，以是得了0%——这是设计云云，，，，，并非真实能力体现。。。。这些数字批注，，，，，机械辅助的出题方法，，，，，在研究团队归纳的失败模式框架指导下，，，，，确实能够天生足够有挑战性的诊断题。。。。 A.X-4.0是建设在Qwen2.5基础上、专门用韩国数据做过一连预训练的模子。。。。它的主要问题是"浅层证据控制"：模子往往只是扫了一眼搜索效果的片断，，，，，就纰漏地得出结论，，，，，而没有把这些片断整合成一个可以逐步筛选的候选名单。。。。在搜索次数上，，，，，它也是所有模子里最守旧的，，，，，显示出一种"看了两眼就算了"的搜索习惯，，，，，而不是坚持追踪证据链直到所有条件都获得验证。。。。 K-EXAONE-236B-A23B参数目很是大，，，，，但它的问题出在"跨源链条漂移"上：它能乐成地完成第一步搜索，，，，，找到目的事务或目的实体的线索，，，，，但在接下来的搜索中，，，，，这其中心实体逐渐"失忆"，，，，，后续搜索最先偏向其他相关但并不准确的实体。。。。这说明，，，，，单靠堆砌参数目并不可解决长链条推理中的状态维护问题。。。。 HyperCLOVAX-SEED-Think-32B的问题在于"谜底终结能力缺乏"：它能启动一个合理的搜索历程，，，，，但很难把这个历程收敛到一个名堂准确、内容明确的最终谜底。。。。它的准确试次和过失试次在搜索次数上险些没有差别，，，，，说明失败不是由于搜索不起劲，，，，，而是由于不知道什么时间应该停下来给出谜底。。。。 Kanana-2-30B-A3B-Thinking-2601则面临最基础的问题——工具挪用协议兼容性。。。。这个模子在测试框架下经常输特殊式过失的工具挪用指令，，，，，导致搜索基础无法执行，，，，，整个测试流程就其中止。。。。研究团队以为，，，，，这反应的是对工具使用范式的适配不完整，，，，，而不是内容明确能力的问题。。。。 归根结底，，，，，这项研究展现的焦点问题可以用一句话归纳综合：当今的AI模子，，，，，包括全球最强的那些，，，，，在面临真实的韩语网络搜索使命时，，，，，最大的瓶颈不是"搜不到"，，，，，而是"整合不了"。。。。 模子可以会见准确的网站，，，，，可以找到相关的段落，，，，，但它往往无法像一名真正的侦探那样，，，，，把来自差别地方的碎片化线索拼接成一个完整的、前后一致的谜底。。。。候选名单在追踪历程中悄悄换了工具，，，，，约束条件在跨越多个搜索办法后逐渐被遗忘，，，，，中心实体在从一个网站跳到另一个网站时爆发了"角色混淆"——这些问题，，，，，不是更多的搜索次数能够解决的，，，，，也不是更大的模子参数目能够自动修复的。。。。 关于韩国本土的AI研发团队来说，，，，，K-BROWSECOMP提供了一个清晰的诊断靶标：差别模子在差别阶段泛起了差别类型的瓶颈，，，，，解决计划需要有针对性，，，，，而不是笼统地"增添数据量"或"扩大模子规模"。。。。关于全球AI领域来说，，，，，这项研究也提出了一个更宏观的命题：在非英语、文化特异性强的语言情形中构建真正有用的搜索智能体，，，，，需要的不但是语言能力，，，，，还需要更强的长程状态维护和多源证据整合能力。。。。 这项研究的数据集、评估代码和所有问题都已开源，，，，，感兴趣的研究者和开发者可以通过arXiv编号2606.02404查阅完整论文，，，，，也可以通过GitHub项目prometheus-eval/K-BrowseComp获取相关资源。。。。 A：K-BROWSECOMP测试的是AI在韩语网络情形中举行多步推理搜索的能力，，，，，详细包括：能否通过多个网站的证据逐步推理得出唯一准确谜底，，，，，以及在整个搜索历程中能否一连追踪候选谜底、记着约束条件、不混淆差别泉源的实体信息。。。。它不是考察AI懂不懂韩语，，，，，而是考察AI能不可像一个熟悉韩国外地网络的侦探一样，，，，，在真实重大的信息情形中找到谜底。。。。 A：研究发明韩国本土模子的失败缘故原由各不相同。。。。A.X-4.0搜索次数少且过早下结论，，，，，没有把证据整合成候选名单；；；；；K-EXAONE-236B-A23B能完成第一步搜索但后续会"遗忘"中心效果，，，，，链条追踪能力弱；；；；；HyperCLOVAX-SEED-Think-32B搜索起劲但无法收敛出一个明确谜底；；；；；Kanana-2-30B-A3B-Thinking-2601甚至连工具挪用名堂都经常蜕化，，，，，导致搜索无法执行。。。。总体来看，，，，，问题不在于不懂韩语，，，，，而在于长链条推理中的状态治理能力缺乏。。。。 A：英语版BrowseComp中GPT-5.5得分84.4%，，，，，换到K-BROWSECOMP只有45.67%，，，，，降幅快要40个百分点。。。。这种差别反应了韩语网络情形的特殊性：韩国外地机构页面、考试质料、文化媒体内容的结构和信息密度与英语网页差别很大，，，，，许多谜底隐藏在半结构化的表格、排名页面或需要特定搜索习惯才华会见的外地网站中。。。。模子对韩语网络的搜索老例、页面结构和实体命名方法的顺应能力，，，，，显着不如处置惩罚英语内容时成熟。。。。