克日，，，，，，CMU 助理教授贾志豪（Zhihao Jia）团队立异玩法，，，，，，推出了一个名为「Mirage Persistent Kernel（MPK）」的编译器，，，，，，可以自动将 LLM 转化为优化的巨型内核（megakernel），，，，，，从而将 LLM 推理延迟降低 1.2 到 6.7 倍。。。。。
在这种设计中，，，，，，系统仅启动一个 GPU 内核来执行整个模子 —— 从逐层盘算到 GPU 间通讯 —— 整个历程无需中止。。。。。这种要领提供了以下几个要害的性能优势：
消除内核启动开销：通过阻止重复的内核挪用，，，，，，纵然是在多 GPU 情形下，，，，，，也能消除内核启动开销 ；；；；；实现跨层软件 pipeline 允许内核在盘算目今层的同时，，，，，，最先为下一层加载数据 ；；；；；重叠盘算与通讯：由于巨型内核可以同时执行盘算操作和 GPU 间通讯，，，，，，从而隐藏通讯延迟。。。。。
现有的高级 ML 框架 —— 如 PyTorch、Triton 和 TVM，，，，，，它们自己并不支持端到端巨型内核天生。。。。。别的，，，，，，现代 LLM 系统由州差别的专用内核库构建而成：用于通讯的 NCCL 或 NVSHMEM，，，，，，用于高效注重力盘算的 FlashInfer 或 FlashAttention，，，，，，以及用于自界说盘算的 CUDA 或 Triton。。。。。
那么能否通过编译自动化这个历程呢？？？？？？受到这个问题的启发，，，，，，来自 CMU、华盛顿大学、加州大学伯克利分校、英伟达和清华大学的团队开发出了 MPK—— 一个编译器和运行时系统，，，，，，它能自动将多 GPU 的 LLM 推理转换为高性能的巨型内核。。。。。MPK 释放了端到端 GPU 融合的效能优势，，，，，，同时只需要开发者支付极小的手动起劲。。。。。
MPK 的一个要害优势在于：通过消除内核启动开销，，，，，，并最洪流平地重叠跨层的盘算、数据加载和 GPU 间通讯，，，，，，实现了极低的 LLM 推理延迟。。。。。
除了单 GPU 优化，，，，，，MPK 还将盘算与 GPU 间通讯融合进一个简单的巨型内核。。。。。 这种设计使得 MPK 能够最洪流平地重叠盘算与通讯。。。。。因此，，，，，，MPK 相关于目今系统的性能提升随着 GPU 数目的增添而增大，，，，，，使其在多 GPU 安排场景下尤为高效。。。。。
Part 1：MPK 编译器，，，，，，其将 LLM 的盘算图转化为优化的使命图 ；；；；；Part 2：MPK 运行时系统，，，，，，该系统在单个巨型内核内执行使命图，，，，，，以实现高吞吐量与低延迟。。。。。
LLM 的盘算历程通常体现为盘算图，，，，，，其中每个节点对应一个盘算算子（如矩阵乘法、注重力机制）或荟萃通讯原语（如 all-reduce），，，，，，边体现算子间的数据依赖关系。。。。。现有系统通常为每个算子启动自力的 GPU 内核。。。。。
然而，，，，，，这种「单算子单内核」的执行模子难以实现 pipeline 优化，，，，，，由于依赖关系是在整个内核的粗粒度层面强制执行的，，，，，，而非现实数据单位层面。。。。。
典范案例如矩阵乘法（matmul）后接 all-reduce 操作：现有系统中，，，，，，all-reduce 内核必需期待整个 matmul 内核完成。。。。。而现实上，，，，，，all-reduce 的每个数据分块仅依赖 matmul 输出的局部效果。。。。。这种逻辑依赖与现实依赖的错配，，，，，，严重限制了盘算与通讯的重叠潜力。。。。。
下图 2 展示了 MPK 编译器将 PyTorch 界说的 LLM 盘算图转化为优化细粒度使命图，，，，，，最大化袒露并行性。。。。。右侧展示次优计划 —— 其引入不须要的数据依赖与全局屏障，，，，，，导致跨层流水线优化时机受限。。。。。
为相识决此问题，，，，，，MPK 引入的编译器可将 LLM 盘算图自动转化为细粒度使命图。。。。。该使命图在子内核级别显式捕获依赖关系，，，，，，实现更激进的跨层流水线优化。。。。。
使命（矩形体现），，，，，，代表分派给单个 GPU 流式多处置惩罚器（SM）的盘算 / 通讯单位。。。。。事务（圆形体现），，，，，，体现使命间的同步点。。。。。触发机制，，，，，，每个使命发出指向触发事务的边，，，，，，该事务在关联使命所有完成后激活。。。。。依赖机制，，，，，，每个使命吸收来自依赖事务的边，，，，，，批注事务激活后使命连忙启动。。。。。
使命图使 MPK 能够掘客盘算图中无法实现的 pipeline 优化时机。。。。。例如，，，，，，MPK 可以构建优化使命图 —— 其中每个 all-reduce 使命仅依赖于天生其输入的对应 matmul 使命，，，，，，从而实现分块执行与盘算通讯重叠。。。。。
MPK 包括内置 GPU 运行时系统，，，，，，可在单个 GPU 巨型内核内完整执行使命图。。。。。这使得系统能在推理历程中无需特殊内核启动的情形下，，，，，，实现使命执行与调理的细粒度控制。。。。。
获取使命：从行列中提取下一待执行使命。。。。。执行盘算：运行使命（如矩阵乘法 / 注重力机制 / GPU 间数据传输）。。。。。事务触发：使命完成后通知触发事务。。。。。循环执行：重复上述历程。。。。。
调理决议由 MPK 的漫衍式调理单位处置惩罚，，，，，，每个调理单位运行于单个线程束（warp）上。。。。。由于每个流式多处置惩罚器（SM）可以容纳多个线程束，，，，，，因此单 SM 最多可并发运行 4 个调理单位。。。。。每个调理单位维护激活事务行列，，，，，，并一连执行以下操作：
下图 3 展示了 MPK 的执行时间线，，，，，，其中每个矩形代表一个在事情单位上运行的使命 ；；；；；每个圆圈代表一个事务。。。。。当一个使命完成时，，，，，，它会递增其对应触发事务的计数器。。。。。当事务计数器抵达预设阈值时，，，，，，该事务被视为已激活，，，，，，并被加入调理单位的事务行列。。。。。随后，，，，，，调理单位会启动所有依赖于该事务的下游使命。。。。。
由于所有的调理和使命切换都爆发在简单内核上下文内，，，，，，使命间的开销极低，，，，，，通常仅需 1-2 微秒，，，，，，从而能够高效地执行多层、多 GPU 的 LLM 事情负载。。。。。
团队对 MPK 的愿景是使巨型内核编译既易于使用又具备高性能。。。。。现在，，，，，，你只需几十行 Python 代码（主要用于指定巨型内核的输入和输出）即可将一个 LLM 编译成一个巨型内核。。。。。此偏向仍有辽阔的探索空间，，，，，，现在正在起劲攻关的一些要害领域包括如下：
支持现代 GPU 架构。。。。。下一个里程碑是将 MPK 扩展到支持下一代架构，，，，，，例如 NVIDIA Blackwell。。。。。一个主要挑战在于怎样将线程束专业化，，，，，，这是新型 GPU 的一项要害优化手艺，，，，，，与 MPK 的巨型内核执行模子相集成。。。。。处置惩罚事情负载动态性。。。。。MPK 现在构建的是静态使命图，，，，，，这限制了它处置惩罚动态事情负载（如 MoE 模子）的能力。。。。。团队正在开发新的编译战略，，，，，，使 MPK 能够在巨型内核内部支持动态控制流和条件执行。。。。。高级调理与使命分派。。。。。MPK 在使命级别解锁了新的细粒度调理能力。。。。。虽然目今的实现使用简朴的轮询调理在流式多处置惩罚器（SM）之间分派使命，，，，，，但团队看到了在高级调理战略（如优先级感知或吞吐量优化战略）方面令人兴奋的时机，，，，，，可应用于诸如延迟效劳品级目的（SLO）驱动的效劳或混淆批处置惩罚等场景。。。。。
团队相信，，，，，，MPK 代表了在 GPU 上编译和执行 LLM 推理事情负载方法的根天性转变，，，，，，并热切期待与社区相助，，，，，，配合推动这一愿景向宿世长。。。。。
《部长看上下属的老婆》韩剧近日，国家数据发展研究院副院长袁军接受新京报贝壳财经专访，深度解读词元如何重塑AI商业模式、高质量数据集建设路径及算电协同破局之道。目前，嘉立创已参与支持多个高端硬件创新场景，包括助力“朱雀三号”商业火箭加速验证航电系统，保障深中通道工控系统稳定运行，协助机器人企业实现快速迭代，支持智元机器人等企业加速进入量产阶段。这些案例显示，其服务能力已从中小工程师群体延伸至高端制造和前沿科技应用场景。《部长看上下属的老婆》韩剧免费寓目60分钟极速电视剧双男无论如何，都要重新开始。无论如何，都要成功。尤文图斯在这些等待的日子里审视了自己。这一次，它无可辩驳地明白了：需要重新塑造，需要改变，需要革新。不过，它想慢慢来。如果说有什么要优先考虑的，那就是出售球员。俱乐部内部明确的目标是：月底前回收5500万欧元，纯粹为了现金周转。这不是为了实现资本利得（尽管约3000万欧元可能会减轻上一财年的负担……），也不是上级的要求。五个月前的那个中午，她骑着三轮车，后座上坐着母亲和女儿，去买菜准备招待亲戚。一场车祸后，一切都没了。女儿没了，但官司还在继续。但至少，她知道自己在往哪个方向走——这不是一个多光明的希望，但对高某来说，这是目前唯一能抓住的东西。
20260608 ? 《部长看上下属的老婆》韩剧6月4日消息，深交所发布《关于对深圳市唯特偶新材料股份有限公司的关注函》，其中指出，近期，公司股价涨幅较大，5月20日触及严重异常波动，6月4日触及涨停。4月25日至5月21日，公司路演频繁，共计发布7份投资者关系记录表，并多次在问答环节提及光模块、先进封装等热点领域相关业务。要求公司说明光模块生产商在光模块及其部件生产过程中各环节所需使用锡膏的含量，对应单价及金额、占光模块产品价格的比例；说明公司目前主营产品分别应用在光模块生产三大环节的具体情况，包括各环节对应的主要客户名称、最近一年及一期已实现的销售金额、毛利率、在手订单金额。请公司自查并列示近期接受媒体采访、机构和投资者调研、回复投资者咨询等情况，说明是否存在违反信息披露公平性原则的情形；并进一步说明公司在上述期间多次开展特定对象调研、路演活动等投资者关系活动的具体考虑、方案设计的具体职能部门，履行的内部程序、审批人员，较此前次数、频率均显著增加的原因及合理性，光模块应用、先进封装领域应用的提问人员。Overflow上赛季，哈克尼代表米德尔斯堡各项赛事出场41次，打进6球并送出8次助攻。哈克尼出自米德尔斯堡青训，2021年1月完成一线队首秀。同年晚些时候，他被租借至斯坎索普联，并在2021-22赛季效力于这支当时征战英乙的球队。
20260608 ? 《部长看上下属的老婆》韩剧葡萄牙在热身赛中战胜智利后，首发出战的塞梅多接受了RTP采访。塞梅多表示，球队整体表现积极，但比赛最后阶段的丢球以及莱奥被罚下都值得总结，葡萄牙必须学会控制比赛中的情绪。下雨天师生躲雨影戏据《米兰体育报》报道，在第三届意甲节活动中，尤文图斯名宿德尔-皮耶罗参加了传奇球员主题论坛。皮耶罗谈到了自己告别尤文、2006年世界杯夺冠、球衣交换、金球奖以及尤文目前的处境，并表示自己尊重现在在尤文工作的人。
京公网安备11010202000001号
