这项由牛津大学、斯坦福大学与艾伦人工智能研究所联合开展的研究，，，，，，，于2026年5月以预印本形式宣布，，，，，，，编号为arXiv:2605.22681v1。。。研究团队构建了一个名为CUSP（Cutoff-conditioned Unseen Scientific Progress，，，，，，，即"阻止日期条件下的未见科学希望"）的测评框架，，，，，，，系统考察了目今最先进的AI系统是否真的能够展望科学生长的走向。。。 科学界一直保存一个颇为迷人的期待：若是AI掌握了人类积累的所有知识，，，，，，，它能否像一位洞察力轶群的学者那样，，，，，，，提前预见下一个重大发明？？？
？事实，，，，，，，历史上不乏纪律可循的科学希望，，，，，，，半导体领域有著名的摩尔定律——每隔约两年，，，，，，，芯片上的晶体管数目就会翻倍；；；；；深度学习领域有规模定律——模子越大、数据越多，，，，，，，性能越好。。。这些纪律一经资助工程师和研究者制订蹊径图、分派资源。。。现在，，，，，，，AI系统被寄予厚望，，，，，，，人们希望它们不但是知识的检索工具，，，，，，，而是能够真正加入科学预见的"智能同伴"。。。 为了搞清晰AI事实能不可展望科学希望，，，，，，，研究团队全心设计了一套考试系统，，，，，，，而不是随便找几道题考考AI就算了。。。他们网络的素材来自《自然》《科学》《细胞》三大顶级学术期刊，，，，，，，以及Hugging Face、社区驱动的AI论文榜单，，，，，，，尚有GPQA Diamond、MMLU-Pro和"人类最后的考试"（Humanity's Last Exam）等着名AI能力排行榜。。。时间跨度从2024年1月到2026年3月，，，，，，，涵盖生物学、人工智能、医学、神经科学、质料科学、物理学、情形科学、化学等九大领域。。。 焦点思绪是"时间封闭"：研究者给AI划定一条时间红线，，，，，，，只允许它使用红线之前的知识，，，，，，，然后要求它展望红线之后爆发的科学事务。。。这就好比让一位1990年月的科学家，，，，，，，仅凭其时的知识，，，，，，，展望2000年月会泛起哪些重大发明。。。研究团队从每篇论文中剔除了所有会泄露谜底的线索——包括新提出的要领名称、模子缩写、系统代号——确保AI无法靠"认出谜底"来蒙混过关。。。 最终，，，，，，，17429个结构化展望使命从4760个科学里程碑中天生，，，，，，，漫衍在五种考题类型中。。。第一种是"是否题"：某个详细的科学声明到某个日期之前能否实现？？？
？好比，，，，，，，"到2025年5月，，，，，，，某种要领能否在特定条件下将某类化学反应的产率提升30%？？？
？"第二种是变体版"是否题"，，，，，，，将原始声明中的数字或条件做了微调，，，，，，，酿成一个"听起来合理但现实上没有实现"的陈述，，，，，，，考察AI是否能识别这种细微差别。。。第三种是四选一的机制推理题：在四个听起来都很合理的手艺蹊径中，，，，，，，选出真正被用来实现突破的那一个。。。第四种是开放性设计题：凭证科学问题的配景，，，，，，，要求AI提出一套可行的解决计划。。。第五种是时间展望题：某个科学里程碑约莫会在哪个月份实现？？？
？ 所有问题都经由了两轮严酷的质量把关。。。首先由Grok-3这个自力的AI系统审核，，，，，，，确保每道题都忠实于原始论文、可客观验证、没有信息泄露；；；；；然后由多所高校的研究生级别的人类专家举行人工复核。。。研究者还丈量了AI审核员和人类审核员的一致性，，，，，，，效果显示两者在"保存问题"这件事上的准确率很是高——这意味着这套质量把关是可靠的。。。 研究团队测试了六款目今最先进的AI系统，，，，，，，包括OpenAI的GPT-5.4和GPT-4o、Anthropic的Claude Sonnet 4.5、Meta的LLaMA 3.3-70B、开放模式的GPT-OSS 20B，，，，，，，以及DeepSeek R1。。。这些模子代表了2023年底到2025年中期各个知识阻止节点的AI系统。。。 机制推理题的效果是六种题型中最悦目的。。。GPT-5.4以81.9%的准确率领跑，，，，，，，而随机推测的概率只有25%（四选一），，，，，，，以是所有模子都显著优于瞎猜。。。这说明AI确实具备一定的科学知识积累，，，，，，，能够在给定问题配景的情形下，，，，，，，从竞争性候选计划中识别出合理的手艺路径。。。就像一个熟悉烹饪的厨师，，，，，，，纵然不知道某道菜的详细食谱，，，，，，，也能在四种烹饪要领中猜出哪种更适合处置惩罚某种食材。。。 然而，，，，，，，一旦进入真正需要"预见未来"的环节，，，，，，，AI的体现就大打折扣了。。。在"是否题"上，，，，，，，所有模子的准确率都在45%到52%之间彷徨——而完全随机推测的准确率是50%。。。；；；；痪浠八，，，，，，，AI在判断一项科学声明是否会在指定日期前实现时，，，，，，，险些和掷硬币没有区别。。。更耐人寻味的是，，，，，，，差别模子泛起出截然相反的答题私见：LLaMA 3.3有强烈的"什么都说能实现"的倾向（在原题上答"是"的比例高达93%），，，，，，，而GPT-4o和GPT-OSS则有强烈的"什么都说不可实现"的倾向（在原题上答"是"的比例只有19%左右）。。。这种私见并不反应真实的科学判断，，，，，，，而是模子自身的系统性"性情"。。。 时间展望题展现了另一种有趣的过失模式。。。所有模子都系统性地把科学事务的爆发时间往后推——也就是说，，，，，，，它们以为科学希望会比现实爆发得更晚。。。平均展望误差在四到三十六个月之间，，，，，，，GPT-4o的中位误差高达26个月，，，，，，，而LLaMA 3.3相对较好，，，，，，，中位误差只有4个月。。。值得注重的是，，，，，，，LLaMA 3.3在时间展望上排名第一，，，，，，，但这部分缘故原由来自一个有趣的"意外"：它倾向于把大宗展望集中锁定在2025年中期周围，，，，，，，形成了一个麋集的"时间锚"，，，，，，，认真实事务恰恰落在谁人区间时，，，，，，，它的得分就会较量高。。。从散点图上看，，，，，，，各模子的展望点泛起出横向的带状漫衍，，，，，，，而非沿对角线漫衍——理想的展望应该是散点细密漫衍在对角线周围，，，，，，，说明展望日期和真实日期靠近。。。 开放性设计题的体现则展示了AI能力的一个奇异裂痕。。。GPT-5.4的综合得分最高（5.04分，，，，，，，满分10分），，，，，，，通过率（得分≥5）抵达60.3%，，，，，，，其他所有模子的通过率都在20%以下。。。更有意思的细节在于：险些所有模子的"手艺详细性"得分都远高于"偏向吻合度"得分，，，，，，，两者之间的差别高达1到3分。。。这意味着AI能够写出听起来很是专业、细节富厚的手艺计划，，，，，，，但这些计划往往并不是真正解决了问题的那条路。。。就像一个厨师写了一份详尽的菜谱，，，，，，，食材选择合理，，，，，，，办法清晰，，，，，，，但做出来的菜和真正的目的料理相差甚远。。。这是一种"准确地跑偏"的能力。。。 直觉上，，，，，，，我们会以为AI应该对它"见过"的事务体现更好，，，，，，，对它"没见过"的事务体现更差。。。事实，，，，，，，一小我私家若是一经读过某篇论文，，，，，，，理应对其内容更相识。。。 研究团队专门对此举行了验证。。。他们把所有测试事务分为两类：爆发在各模子知识阻止日期之前的"已知事务"，，，，，，，和爆发在阻止日期之后的"未知事务"。。。效果颇为出人意料——两类事务的得分差别很是小，，，，，，，在大大都题型上险些没有显著区别。。。GPT-5.4在机制推理题上，，，，，，，已知事务得分0.830，，，，，，，未知事务得分0.792；；；；；在开放性设计题上，，，，，，，两者都是5.04分。。。Claude S4.5、DeepSeek R1等模子的情形类似。。。 这个发明突破了"AI体现差是由于不知道谜底"的简朴诠释。。。若是问题只是知识盲区，，，，，，，那么关于已知事务应该体现显著更好；；；；；但事实上并非云云。。。这至少意味着两种可能：一是AI在训练时虽然"见过"这些事务，，，，，，，但并没有真正将相关信息整合为可以用于展望的知识；；；；；二是即便拥有完整的知识，，，，，，，AI也缺乏将知识转化为可靠展望的能力。。。；；；；痪浠八，，，，，，，知道爆发了什么，，，，，，，并不即是能够展望它会爆发。。。 研究团队设计了一个受控实验，，，，，，，对500个测试事务举行了三种条件下的比照。。。第一种是让AI单独作答，，，，，，，不提供任何特殊信息；；；；；第二种是给AI配备网络搜索工具，，，，，，，但限制只能搜索阻止日期之前的内容（即历史知识增强）；；；；；第三种是允许AI举行无限制搜索，，，，，，，可以获取包括目的事务在内的所有信息（即"开卷考试"）。。。 历史知识增强确实带来了显着的改善。。。在GPT-4o上，，，，，，，是否题的准确率从19.2%提升到47.6%，，，，，，，机制推理题从54.2%提升到58.9%，，，，，，，开放性设计题的平均分从3.28提升到3.72。。。这说明AI在基础模式下并没有充分挪用自己应当拥有的历史知识，，，，，，，有相当一部分知识在回覆这类问题时是"睡着的"。。。 但要害的发明在于：纵然提供了阻止日期前的所有历史知识，，，，，，，AI在展望未来事务上仍然和"全知模式"（允许搜索目的事务自己）之间保存重大差别。。。研究者将这个差别剖析为两部分：一是"知识鸿沟"，，，，，，，代表历史知识增强带来的性能提升；；；；；二是"展望鸿沟"，，，，，，，代表在历史知识已经充分的情形下，，，，，，，AI仍然无法追平全知模式的剩余差别。。。在时间展望使命上，，，，，，，GPT-5.4的展望鸿沟（0.436）远大于知识鸿沟（0.070）。。。这说明，，，，，，，展望能力的缺失不可用信息缺乏来完全诠释，，，，，，，AI自己在"向前看"这件事上保存根天性的局限。。。 更有意思的是，，，，，，，这个展望鸿沟与科学发明的影响力亲近相关。。。研究者凭证论文被引用次数将测试事务分为四个层次，，，，，，，发明越是高影响力的突破性发明，，，，，，，AI的展望鸿沟越大。。。在GPT-5.4上，，，，，，，低引用量论文的展望鸿沟约为0.060，，，，，，，而高引用量论文的展望鸿沟飙升至0.875。。。也就是说，，，，，，，AI对那些真正改变领域走向的重大发明，，，，，，，展望能力最弱。。。这有点像说，，，，，，，AI能猜到下个月的小新闻，，，，，，，但关于改变历史历程的大事务，，，，，，，它险些猜禁绝。。。 在机制推理题上，，，，，，，情形科学（66.2%）、神经科学（65.8%）和物理学（62.1%）的准确率相对较高，，，，，，，而化学（49.8%）、质料科学（54.2%）和AI（54.3%）相对较低。。。这可能反应了差别领域的手艺蹊径集中水平——物理学的实验手段相对牢靠，，，，，，，更容易从候选计划中识别准确路径；；；；；而化学合成蹊径千变万化，，，，，，，AI更难做出准确判断。。。 时间展望的领域差别最为突出。。。AI领域的时间展望得分（0.461）显著高于其他所有领域（通常在0.18到0.28之间）。。。这并不难明确：AI领域的希望高度依赖于可量化的指标，，，，，，，好比种种基准测试的效果，，，，，，，并且这些数据在互联网上果真更新、纪录完整，，，，，，，模式更为纪律。。。相比之下，，，，，，，生物学、化学和物理学的突破往往来自意想不到的实验发明，，，，，，，很难从历史趋势中推断时间节点。。。 在开放性设计题上，，，，，，，神经科学（4.11分）、生物学（4.05分）和AI（4.04分）体现最好，，，，，，，而化学（3.54分）、物理学（3.74分）和质料科学（3.80分）相对较弱。。。；；；；Ш臀锢硌У牡头址从α苏饬礁隽煊蚋叨茸ㄒ祷奶氐，，，，，，，与AI训练数据中笼罩更广的通俗知识之间保存较大差别。。。 有一个发明在所有领域都坚持一致：是否题的准确率在任何领域都没有突破随机水平（46%到52%之间），，，，，，，甚至在AI领域也不破例。。。这意味着，，，，，，，无论在哪个科学领域，，，，，，，AI都无法可靠地判断一项详细的科学声明是否会在划准时间内实现。。。 自信和准确是两回事。。。医生可以自信地给出诊断，，，，，，，但自信不即是准确。。。研究者专门丈量了AI的"自信度"（stated confidence）和现实准确率之间的差别。。。 效果显示，，，，，，，险些所有模子在所有题型上都系统性地过于自信。。。在是否题上，，，，，，，模子平均自信度比现实准确率横跨约0.2分；；；；；在机制推理题上，，，，，，，横跨幅度更大，，，，，，，DeepSeek R1甚至横跨0.3分以上；；；；；在时间展望题上，，，，，，，GPT-4o的太过自信幅度高达0.6分。。。这种校准误差在统计学中用"期望校准误差"（ECE）来权衡，，，，，，，值越低越好，，，，，，，而大大都模子的ECE都在0.2以上，，，，，，，属于严重失准的领域。。。 更玄妙的发明在于，，，，，，，这种太过自信的水平在知识阻止日期前后泛起出差别的转变模式。。。在机制推理题上，，，，，，，险些所有模子在面临阻止日期之后的"未知"事务时，，，，，，，太过自信水昭雪而增添了——只管准确率没有响应提升。。。这就好比一个学生考到自己没温习过的章节时，，，，，，，反而变得更自信了，，，，，，，这显然是一种危险的信号。。。相比之下，，，，，，，在时间展望题上，，，，，，，太过自信水平在阻止日期之后显着下降，，，，，，，一些模子的太过自信值甚至转变为负数（即对自己的时间判断过于谦逊）。。。是否题的太过自信则没有一致的转变偏向，，，，，，，在差别模子之间体现各异。。。 这些发明配合批注：AI并没有一套稳固、统一的不确定性感知机制。。。它的自信水平是"碎片化的"，，，，，，，在差别题型、差别时间规模之间泛起出差别的失准模式，，，，，，，并且这种失准并不是简朴地随着"难度增添而变得更谦逊"，，，，，，，而是以重大、不可展望的方法转变。。。 研究团队还做了一件颇有意见意义的事：他们构建了一组"时间胶囊"问题，，，，，，，即真实效果尚未揭晓、需要期待未来验证的展望问题。。。这些问题涵盖科学里程碑（如超导临界温度纪录）、机构声誉（如2026年诺贝尔物理学奖的颁奖偏向）、量化指标（如2027年全球二氧化碳排放量）以及AI能力展望（如未来某个时间节点上Humanity's Last Exam的得分）。。。 在全球碳排放展望上，，，，，，，六款模子都以为2027年的排放量会高于2025年，，，，，，，但详细数值不同显着。。。Claude S4.5、DeepSeek R1和GPT-4o的展望相对守旧，，，，，，，靠近历史趋势的延续；；；；；GPT-5.4的展望略高；；；；；LLaMA 3.3和GPT-OSS的展望最为激进，，，，，，，LLaMA 3.3给出了所有模子中最高的展望值。。。这说明差别AI系统内嵌了差别的"天下模子"——关于减碳速率、手艺前进对能源结构影响的隐含判断各有差别。。。 在AI能力展望上，，，，，，，六款模子对GPQA Diamond和MMMLU这两个已经靠近饱和的榜单都展望会进一步提升，，，，，，，但幅度普遍不大（1%到3%），，，，，，，体现它们预期这些榜单很快就会被"考满"。。。关于Humanity's Last Exam这个更开放、更难的测试，，，，，，，展望不同更大，，，，，，，GPT-5.4最为乐观，，，，，，，展望到2027年10月无工具版本的得分会从目今56.8%跃升至74%，，，，，，，有工具版本从64.7%升至82%；；；；；DeepSeek R1则更为守旧，，，，，，，展望幅度较小。。。六款模子都预期AI能力会在2026到2027年间一连提升，，，，，，，这种一致性自己也很有意思——它反应了AI系统对自身领域未来走向的某种"共识"，，，，，，，只管这种共识很可能来自对已往纪律的外推，，，，，，，而非真正的洞察。。。 在问题天生阶段，，，，，，，研究团队使用GPT-4o将每篇论文摘要剖析为三个结构化组件：问题陈述、手艺路径和效果指标。。。在这个历程中，，，，，，，所有可能泄露谜底的信息都被剔除——包括论文新提出的名词缩写、要领命名和系统名称。。。这确保了AI在答题时无法通过"认出"谜底来得分。。。 问题质量由Grok-3举行自力审核（之以是用Grok-3而不是GPT-4o，，，，，，，是为了阻止"自己出题自己打分"的误差）。。。审核标准分为四类：忠实性（问题是否准确反应论文内容）、可验证性（结论是否可以客观判断是非）、扰动有用性（关于变体是否题，，，，，，，改动是否真正使陈述不再建设）以及滋扰项质量（关于四选一问题，，，，，，，过失选项是否足够疑惑人而又不准确）。。。 研究者还招募了十位来自牛津大学、耶鲁大学、密歇根大学、芝加哥大学和香港中文大学深圳校区的研究生级别专家，，，，，，，在同样的标准下对问题举行人工审核，，，，，，，并与Grok-3的判断举行比对。。。效果显示AI审核员在保存高质量问题方面比人类更为严酷，，，，，，，误伤有用问题的情形较少，，，，，，，而人类审核员在某些情形下对模糊界线的容忍度更高。。。总体而言，，，，，，，两者的一致性足够高，，，，，，，确认了自动化审核流程的可靠性。。。 开放性设计题的评分则接纳了另一套机制：先由带有网络搜索能力的GPT-5.4 mini检查AI的回覆是否包括阻止日期之后才泛起的信息（若是包括则视为泄题，，，，，，，该谜底不计分），，，，，，，然后再从偏向吻合度、手艺详细性、新颖性、可行性四个维度划分打0到10分，，，，，，，取平均值作为最终得分。。。研究者还对这套评分系统举行了人机一致性验证，，，，，，，在60个例子上与三位CS博士评委的打分举行比照，，，，，，，皮尔逊相关系数为0.34（具有统计显著性），，，，，，，平均绝对误差为0.75分，，，，，，，AI评委略微偏宽松（平均高估0.26分），，，，，，，但总体上与人类判断有足够的相关性。。。 说究竟，，，，，，，这项研究的结论可以用一个简朴的比喻来归纳综合：AI像一个知识渊博、博览群书的图书治理员，，，，，，，能够在你提问时迅速找到相关资料，，，，，，，甚至能在四个候选手艺路径中识别出哪个最合理。。。但当你问它"这本书或许什么时间会出书"，，，，，，，或者"这项研究最终会不会乐成"，，，，，，，它的回覆和随机推测险些没有区别——并且它还会用很是自信的语气告诉你它的"推测"。。。 这并不是AI的失败，，，，，，，而是对AI目今能力界线的准确描绘。。。展望科学希望不但需要知识，，，，，，，还需要明确发明是怎样在不确定性中降生的，，，，，，，需要感知哪些研究偏向正在蓄积能量，，，，，，，哪些看似可行实则走入了死胡同。。。这种能力，，，，，，，现在的大语言模子还远远没有掌握。。。 有一个细节特殊值得记着！。篈I对高影响力的突破性发明展望最差，，，，，，，而对通俗水准的研究展望相对较好。。。这意味着，，，，，，，AI系统的知识图谱虽然渊博，，，，，，，但关于那些真正改变领域走向的"奇点时刻"，，，，，，，它的展望能力最弱——而这恰恰是科学展望最有价值的部分。。。有兴趣深入相识这项研究的读者，，，，，，，可以通过arXiv编号2605.22681查阅完整论文。。。 A：CUSP包括五种问题类型：判断某项科学声明能否在指定日期前实现的是否题、将原始声明微调后形成的变体是否题（准确谜底为"否"）、从四个手艺路径中选出真正实现突破的机制推理选择题、要求AI提出解决计划的开放性设计题，，，，，，，以及展望某个科学里程碑爆发月份的时间展望题。。。 A：AI在科学展望中保存两大焦点问题。。。第一是"是否判断"险些等同于随机推测，，，，，，，准确率在45%到52%之间，，，，，，，与掷硬币无异。。。第二是系统性太过自信，，，，，，，AI的自信水平远高于现实准确率，，，，，，，在时间展望上尤为严重，，，，，，，并且这种失准在阻止日期前后泛起出重大、纷歧致的转变模式，，，，，，，说明AI没有稳固可靠的不确定性感知机制。。。 A：研究发明，，，，，，，纵然为AI提供充分的历史知识，，，，，，，它在展望未来科学事务上仍与"全知模式"保存重大的"展望鸿沟"。。。这说明展望能力的缺失不可用信息缺乏来诠释——AI缺氨赡是将已有知识转化为可靠前瞻判断的能力。。。特殊是关于高影响力的突破性发明，，，，，，，这个鸿沟最大，，，，，，，GPT-5.4在高引用论文上的展望鸿沟高达0.875。。。