当AI算力竞赛进入“系统级对决”时代，，，，，，单卡性能的“摩尔定律神话”正被架构革命重构。。。。。。在美国对华芯片制裁一连加压的配景下，，，，，，华为昇腾CLoudMatrix 384超节点的横空出生，，，，，，不但以300PFlops算力规模反超英伟达旗舰系统NVL72达70%，，，，，，更展现出一条破局之路——用“全对等架构”突破古板算力枷锁，，，，，，以光通讯手艺跨越“内存墙”与“通讯墙”。。。。。。 黄仁勋的焦虑印证了行业变局：中国AI算力生态正从“单点突围”转向“系统升维”。。。。。。；；ü趟-存储-网络协同立异，，，，，，将国产昇腾芯片的集群效能推向极致，，，，，，其高速互联总线与万卡级扩展能力，，，，，，直指大模子训练的焦点痛点。。。。。。更深远的意义在于，，，，，，昇腾CLoudMatrix 384超节点支持的准万亿盘古Ultra MoE模子训练与DeepSeek推理实践，，，，，，验证了国产算力全链条自主的可能，，，，，，而光通讯等古板优势手艺的跨域复用，，，，，，凸显中国在系统级立异中的奇异路径。。。。。。 这场“超节点之战”的实质，，，，，，是算力范式从硬件堆砌到架构重界说的厘革。。。。。。当制裁倒逼出“用数学补物理”、“用非摩尔补摩尔”等倾覆性头脑，，，，，，全球AI竞赛的决胜点，，，，，，已悄然落在谁能以系统工程弥合单点手艺代差，，，，，，而这恰是中国企业被逼出的生涯智慧。。。。。。 “中国做得太棒了，，，，，，全球50%的人工智能研究职员都是中国人，，，，，，你无法阻止他们，，，，，，也无法阻止他们推进人工智能的生长。。。。。。若是有人以为，，，，，，一招就能切断中国生长人工智能的能力，，，，，，那他绝对是无知的。。。。。。”黄仁勋近期在台北电脑展上体现。。。。。。 今年4月，，，，，，美国政府再度对英伟达中国“特供版”芯片H20发出禁令。。。。。。通告一出，，，，，，黄仁勋连忙把皮衣换成西装，，，，，，飞往中国，，，，，，这是他3个月里第二次来华。。。。。。在与政府官员的碰面中，，，，，，黄仁勋多次强调中国市场的主要性，，，，，，体现希望继续与中国相助。。。。。。 事实上，，，，，，若是仅仅是数十亿美元的损失，，，，，，对英伟达并不算“伤筋动骨”。。。。。。这家市值凌驾3万亿美元的巨头，，，，，，在AI风口下赚得盆满钵满，，，，，，2025财年收入抵达了1305亿美元，，，，，，同比增添114%；；；净利润抵达729亿美元，，，，，，同比增添145%；；；毛利率抵达惊人的75%。。。。。。 真正让黄仁勋感应焦虑的，，，，，，是中国自主手艺正在美国禁令欺压下快速突围。。。。。。在英伟达的要害护城河中，，，，，，不但有GPU这种硬件，，，，，，尚有并行盘算平台和编程模子CUDA，，，，，，以及高速互联手艺NVLink。。。。。。在单点竞争上，，，，，，中国企业可能很难撼动英伟达职位，，，，，，但系统竞争并纷歧定。。。。。。 近期，，，，，，华为对外详细先容了昇腾CLoudMatrix 384超节点手艺，，，，，，该手艺使用国产昇腾芯片，，，，，，在算力规模、训推效率和可靠性等要害维度上，，，，，，周全逾越了英伟达最强的NVL72系统。。。。。。其中的焦点在于，，，，，，华为跳出了单卡算力的竞争，，，，，，通过盘算、存储、网络和架构的协同立异，，，，，，填补了硬件和芯片工艺的局限性，，，，，，最大化施展了芯片和系统能力。。。。。。 中国建设了替换英伟达的计划，，，，，，才是黄仁勋最担心的。。。。。。这不但可能导致该公司在中国遭受永世性损失，，，，，，更可能摇动其“算力帝国”的统治基本。。。。。。他喊话美国政府：赢得开发者的平台才华最终获胜，，，，，，出口管制应该强化美国平台，，，，，，而不是迫使全球一半的AI人才流向竞争敌手。。。。。。 看到中国再度突破，，，，，，美国政客着实也很着急，，，，，，但他们显然忽视了黄仁勋放宽管制的呼声。。。。。。在严酷限制英伟达对华出口的同时，，，，，，美商务部最近还试图在全球封杀华为昇腾芯片，，，，，，同时欺压EDA巨头对华断供。。。。。。但就像黄仁勋说的，，，，，，这样只会激活中国企业绝处逢生的能力。。。。。。 就在今年4月，，，，，，美国对华断供H20之际，，，，，，华为云率先在芜湖商用了CLoudMatrix 384超节点，，，，，，随后又在贵安和乌兰察布等地商用，，，，，，内部人士将其称为“核弹级立异”，，，，，，今年上半年还将有数万卡规模上线，，，，，，目的是“彻底终结行业算力焦虑”。。。。。。而克日华为再度重磅宣布，，，，，，已经乐成在昇腾平台上实现了准万亿MoE模子的全流程训练，，，，，，集群训练系统的性能上实现了业界领先，，，，，，进一步验证了国产AI基础设施的自主立异能力。。。。。。 “四年前，，，，，，英伟达在中国的市场份额高达95%，，，，，，现在只有50%。。。。。。若是我们不在中国竞争，，，，，，而是让中国开发出新的平台，，，，，，建设一个富厚的生态系统，，，，，，并且它们不是美国的，，，，，，在天下推广人工智能手艺的时间，，，，，，他们的手艺和向导力将会撒播到天下各地。。。。。。”不难看出，，，，，，黄仁勋的焦虑感正越来越重，，，，，，但美国政客仍在一意孤行，，，，，，行业对老黄说辞也逐步失去了新鲜感。。。。。。 影戏《横空出生》中有这样一个片断，，，，，，西北核基地总指挥冯石与外洋归国的专家陆光达，，，，，，在沙漠滩上谈天，，，，，，冯石讲述了多年以前的履历：“在朝鲜战场上，，，，，，我们抓了一个美军俘虏，，，，，，一个小小的下士，，，，，，竟敢在我眼前，，，，，，高声喊叫着，，，，，，扔个原子弹让我们尝尝，，，，，，给我们做外科手术。。。。。。” 在谁人年月，，，，，，苏联在没有任何征兆的情形下突然中止协议，，，，，，撤走所有提供手艺援助的专家，，，，，，美国则对华实验手艺封闭。。。。。。影戏画面显示，，，，，，在缺乏盘算机支持的情形下，，，，，，我方专家决议接纳人海战术，，，，，，通过昼夜一直地妄想盘，，，，，，最终在一年多的时间里算出谜底，，，，，，助力原子弹研发。。。。。。 60年已往，，，，，，美国依然试图通过手艺封闭的手段，，，，，，阻碍中国AI工业生长，，，，，，这确实给中国带来了算力焦虑，，，，，，事实大模子的Scaling Law（标准定律）依然有用，，，，，，越多的参数和数据，，，，，，就能带来越强的性能和智能，，，，，，这势必会导致对算力、显存和带宽的需求指数级增添。。。。。。 但即便芯片制造工艺短期无法遇上，，，，，，中国也并非一筹莫展。。。。。。随着模子规模越来越重大，，，，，，单卡算力优势相对弱化，，，，，，集群化、系统化的算力计划是时势所趋，，，，，，这对中国是挑战更是机缘。。。。。。 制裁重压下，，，，，，华为手艺团队提出了“用数学补物理”、“非摩尔定律补摩尔定律”、“用系统补单点”等焦点头脑：基于现实可获得的芯片制造工艺，，，，，，盘算、存储和网络手艺协同立异，，，，，，开创盘算架构，，，，，，打造“超节点+集群”系统算力解决计划，，，，，，恒久一连知足算力需求。。。。。。 2022年下半年，，，，，，“身处狂风雨中”的华为启动超节点研发，，，，，，项目涉及海思、盘算和云等多个营业团队。。。。。。一位项目组专家回忆道，，，，，，其时64卡的计划也够用，，，，，，但华为目的是结构未来，，，，，，并且准备以昇腾AI云效劳的方法向行业提供算力，，，，，，可以把超节点算力脱离或合并，，，，，，做大了没问题，，，，，，做小了可能就会很被动。。。。。。经由内部钻研，，，，，，华为决议坚定投入384超节点研发。。。。。。 严酷意义上说，，，，，，超节点（SuperPod）并非一个新看法，，，，，，谷歌、英伟达等巨头很早就在探索。。。。。。这项手艺兴起的配景是，，，，，，当Transformer这样的大型神经网络模子横空出生，，，，，，对算力和显存的需求呈爆炸式增添，，，，，，单个GPU甚至单个效劳器已经难以招架，，，，，，这时就需要构建大宗高速盘算芯片的高效统一结构，，，，，，也就是超节点。。。。。。相比古板的盘算集群，，，，，，超节点不但要把大宗GPU的算力堆起来，，，，，，更需要在GPU之间、效劳器之间构建超高速互联，，，，，，来降低并行盘算的开销，，，，，，通过将大宗GPU融为一体，，，，，，提供重大的有用AI算力，，，，，，配合肩负训练和推理使命。。。。。。 去年3月，，，，，，英伟达推出了GB200 NVL72超节点。。。。。。通过“内部高速专线”NVLink，，，，，，英伟达将36个Grace CPU和72个Blackwell GPU细麋集成，，，，，，形成一个逻辑上的“巨型GPU”，，，，，，总算力规模抵达了180Pflops，，，，，，网络互联总带宽抵达130TB/s，，，，，，内存总带宽抵达576TB/s。。。。。。凭证英伟达的说法，，，，，，GB200 NVL72超节点，，，，，，可以将万亿参数大模子推理速率提高30倍。。。。。。 在海内也有不少企业在探索超节点手艺，，，，，，像百度昆仑芯构建的超节点，，，，，，通过自研互联通讯协议XPU Link，，，，，，单柜可容纳32/64张昆仑芯AI加速卡，，，，，，单柜内卡间实现全互联通讯，，，，，，带宽提升高达8倍，，，，，，一个机柜的算力最高可抵达古板形态下8台8卡效劳器。。。。。。别的，，，，，，阿里、腾讯、中国移动等巨头，，，，，，也联合了多家软硬件企业，，，，，，提倡了差别的超节点互联开放标准。。。。。。 但现在来看，，，，，，使用天下产芯片构建超节点，，，，，，还能周全逾越英伟达NVL72的，，，，，，只有华为。。。。。。昇腾CLoudMatrix 384超节点在高速互联总线联接下，，，，，，共由12个盘算柜和4个总线柜组成，，，，，，是现在业界最大规模的超节点，，，，，，算力总规模达300Pflops，，，，，，是英伟达NVL72的1.7倍；；；网络互联总带宽达269TB/s，，，，，，比英伟达NVL72提升107%；；；内存总带宽达1229TB/s，，，，，，比英伟达NVL72提升113%。。。。。。 更主要的是，，，，，，通过最佳负载平衡组网等计划，，，，，，昇腾超节点还能进一步扩展为包括数万卡的Atlas 900 SuperCluster超节点集群，，，，，，未来可以支持更大规模的模子演进。。。。。。 昇腾CLoudMatrix 384超节点，，，，，，是华为在制裁重压下造出的一颗“算力核弹”。。。。。。但比照英伟达和昇腾的计划也难免爆发一些疑问。。。。。。；；皇强慷迅嗫ㄓ庠接⑽按锏穆穑？？？？？？为什么英伟达和其他企业没有堆更多卡？？？？？？？相比英伟达把卡都放在一个柜子里（更古板意义的超节点，，，，，，Scale up），，，，，，昇腾为什么能分成多个盘算柜（Scale out）？？？？？？？构建这样的巨型算力系统，，，，，，能解决哪些问题？？？？？？？ 面临大模子Scaling Law带来的巨量算力需求，，，，，，古板解决计划是尽可能堆卡，，，，，，构建更大的算力集群，，，，，，但问题是，，，，，，无限制的堆卡并不可带来算力的线性提升，，，，，，反而会带来“内存墙”、“规模墙”和“通讯墙”的问题。。。。。。在盘算集群内部，，，，，，若是GPU之间和效劳器之间不可“有用相同”，，，，，，GPU就会由于没有足够数据用于盘算而闲着，，，，，，进而会导致1+1<2的效果。。。。。。 已往8年间，，，，，，单卡硬件算力增添了40倍，，，，，，但节点内总线带宽只增添了9倍，，，，，，跨节点的网络带宽只增添了4倍，，，，，，这使得集群网络通讯成为目今大模子训练和推理的最大挑战。。。。。。因此若是不可提升通讯效率，，，，，，纯粹把384张昇腾卡堆起来，，，，，，盘算效果并纷歧定比72张英伟达卡更好，，，，，，由于卡间和效劳器间的通讯开销会抵消算力增添的收益，，，，，，导致有用算力不升反降。。。。。。 尤其是，，，，，，随着以DeepSeek为代表的MoE（混淆专家模子）成为主流模子结构，，，，，，其重大的混淆并行战略带来重大挑战，，，，，，通讯需求骤增，，，，，，TP（张量并行）、SP（序列并行）、EP（专家并行）单次通讯量高达GB级且难以掩饰。。。。。。实践数据批注，，，，，，当TP、SP或EP平漫衍式战略的混淆并行域凌驾8卡时，，，，，，跨机通讯带宽便成为性能瓶颈，，，，，，导致系统性能大幅下降。。。。。。 在这种行业趋势下，，，，，，英伟达的NVLink体现出更大价值，，，，，，它的意义在于在GPU之间搭建了一个“超宽车道”，，，，，，可以让GPU绕开CPU直接通讯。。。。。。；；诖，，，，，，英伟达把将多颗GPU、CPU、高速内存、NVLink/NVSwitch等高度集成，，，，，，构建起NVL72超节点。。。。。。但问题是，，，，，，英伟达的NVLink只是自家GPU之间的通讯协议，，，，，，而节点内还包括NPU、FPGA等非GPU异构硬件，，，，，，它们不可通过NVLink这种专线举行通讯，，，，，，照旧需要通过效率较低的PCIe协议走GPU中转，，，，，，而节点之间的以太网/InfiniBand跨机互联，，，，，，在海量盘算中也保存带宽堵点。。。。。。 相比于英伟达这种修补式的刷新，，，，，，昇腾CLoudMatrix 384超节点选择对古板盘算架构举行重构。。。。。。它的焦点在于彻底突破了古板以CPU为中心的冯诺依曼架构，，，，，，也就是“主从架构”，，，，，，立异提出了“全对等架构”，，，，，，依附高速互联总线的要害突破，，，，，，把总线从效劳器内部扩展到整机柜、甚至跨机柜，，，，，，最终将CPU、NPU、DPU、存储和内存等资源所有互联和池化，，，，，，这样做就能去除掉繁多的中转环节，，，，，，从而实现真正的点对点互联，，，，，，进而实现更大的算力密度和互联带宽。。。。。。 “已往数据中心都是通过CPU调理，，，，，，昇腾CLoudMatrix 384超节点最焦点的理念就是对等架构、点对点通讯，，，，，，不必绕过第三方通讯。。。。。。”华为的专家告诉视察者网，，，，，，在超节点规模内，，，，，，用高速总线互联替换古板以太，，，，，，通讯带宽提升了15倍；；；单跳通讯时延也从2微秒做到200纳秒，，，，，，降低了10倍，，，，，，使用“AI专属高架桥”，，，，，，集群可以像一台盘算机一样事情，，，，，，突破性能限制。。。。。。 昇腾CLoudMatrix 384超节点之以是能大幅提升通讯效率，，，，，，尚有一个要害缘故原由，，，，，，就是应用了光通讯手艺，，，，，，在昇腾CLoudMatrix 384超节点中，，，，，，共使用了3168根光纤和6912个400G光模？？？？？？椤。。。。。相比之下，，，，，，英伟达NVL72超节点接纳的是全铜线架构，，，，，，本钱、功耗低，，，，，，一经安排便坚持牢靠状态、相对稳固，，，，，，但弱点是只能安排2米以内，，，，，，不然通讯速率会大幅衰减，，，，，，因此可联接芯片数目有限。。。。。。而光模？？？？？？樵蛴懈叽砗透咚俾实挠攀，，，，，，消耗低，，，，，，适合长距离传输，，，，，，因而可毗连更多芯片，，，，，，安排无邪。。。。。。 但光通讯也不是全是优势，，，，，，光模？？？？？？楸厩韧叱杀短嵘，，，，，，功耗也大幅增添，，，，，，并且光纤较量懦弱，，，，，，故障率较高，，，，，，插口没插紧、光纤弯了、插头有灰，，，，，，随便一个小问题都可能断联。。。。。。因此英伟达虽然在2022年思量过使用光模？？？？？？榕连256块H100，，，，，，但最后评估了本钱和稳固性，，，，，，决议不投入生产，，，，，，说白了照旧光通讯手艺太难驾驭。。。。。。 但对华为这种通讯巨头来说，，，，，，“光模？？？？？？槎纪胬昧恕，，，，，，恒久积累的光通讯手艺已经实现国际领先，，，，，，反而在超节点通讯中组成奇异优势。。。。。。并且针对超节点集群容易爆发故障的特征，，，，，，华为云还给超节点配备了一个全科专业医生——昇腾云脑，，，，，，主要包括“1-3-10”标准：第一步，，，，，，1分钟内能感知故障，，，，，，连忙发明问题差池劲；；；第二步，，，，，，3分钟内精准定位问题，，，，，，找到病根；；；第三步，，，，，，10分钟内恢复，，，，，，快速修复或者让系统继续运行。。。。。。 外洋着名剖析机构SemiAnalysis在一篇报告中指出，，，，，，华为芯片落伍一代，，，，，，但其扩展解决计划比英伟达和AMD现在在售产品领先一代。。。。。。；；跁N腾芯片打造的华为云CloudMatrix 384超节点，，，，，，可与英伟达的GB200 NVL72直接竞争，，，，，，并且在某些指标上比英伟达的机架级解决计划更为先进，，，，，，其工程优势体现在系统层面，，，，，，涵盖了网络、光通讯和软件。。。。。。 就连黄仁勋也果真认可被华为逾越：“从手艺参数看，，，，，，华为的CloudMatrix 384超节点，，，，，，性能上甚至逾越了英伟达，，，，，，比英伟达的尖端手艺更具优势，，，，，，因此我们必需高度重视这家实力雄厚的公司，，，，，，全力以赴应对挑战。。。。。。；；衙魅妨料嘁诤5G与AI手艺，，，，，，这种结构极具前瞻性，，，，，，是完全准确的战略偏向。。。。。。我们也在推进同样的妄想，，，，，，但必需加速程序。。。。。。” 被最强敌手认可背后，，，，，，或许只有华为才相识突围的艰辛。。。。。。有华为云内部人士透露，，，，，，早期光模？？？？？？榛〔豢捎，，，，，，想用“非摩尔去解决摩尔定律”，，，，，，效果非摩尔的问题反而更大，，，，，，“我们只能将每个光模？？？？？？榈亩嗣嫠姓障，，，，，，再逐个剖析，，，，，，解决了数不清的问题，，，，，，才实现较好的稳固性。。。。。。” 想必各人都还记得年头DeepSeek的爆火。。。。。。其时华为云和硅基流动联手，，，，，，在CloudMatrix 384超节点上安排了DeepSeekR1/V3，，，，，，获得了媲美英伟达H100的效果，，，，，，甚至能提供生产级的推理效劳。。。。。。这其中的缘故原由就在于，，，，，，首先DeepSeek是一个MoE模子，，，，，，相比古板的浓密模子，，，，，，它只会挪用最适合目今使命的少部分专家节点加入事情，，，，，，节约算力的同时，，，，，，提高推理速率。。。。。。与此同时，，，，，，昇腾CLoudMatrix 384超节点这种“去主从、全对等”的算力架构，，，，，，又自然亲和MoE模子，，，，，，相比古板一卡多专家的“小作坊模式”，，，，，，超节点更像“大工厂模式”，，，，，，通过高速互联总线，，，，，，能够实现一卡一专家的漫衍式推理，，，，，，单卡的MoE盘算和通讯效率都大幅提升。。。。。。 “两三年前我们在设计超节点的时间，，，，，，各人都以为太大了，，，，，，由于负载是手艺、模子迭代和硬件立异一直交替。。。。。。在其时，，，，，，昇腾CLoudMatrix 384超节点的规模；Ｕ站山狭看蟮，，，，，，即即是现在，，，，，，DeepSeek的256个专家，，，，，，也可以在上面实现一卡一专家，，，，，，同时还能安排更多冗余专家，，，，，，即即是最火爆的模子，，，，，，我们支持都是绰绰有余。。。。。。”华为专家对视察者网说道。。。。。。 构建巨型的算力系统，，，，，，华为的目的远不止推理。。。。。。之前中国天下领先的大模子，，，，，，如DeepSeek、Qwen，，，，，，多由英伟达平台训练出来，，，，，，而克日华为重磅宣布的参数规模高达7180亿的全新模子——盘古Ultra MoE，，，，，，是一个全流程在昇腾AI盘算平台上训练的准万亿MoE模子。。。。。。在训练要领上，，，，，，华为首次披露了在昇腾CloudMatrix 384超节点上，，，，，，高效买通大希罕比MoE强化学习（RL）后训练框架的要害手艺，，，，，，使RL后训练进入超节点集群时代。。。。。。 从“以小打大”的盘古72B（Pangu Pro），，，，，，到业界一流的准万亿模子718B（Pangu Ultra MoE），，，，，，再到频仍刷新推理速率纪录，，，，，，华为乐成完成了国产算力+国产模子的全流程自主可控的训练实践，，，，，，有力回应了外界对国产算力“只能推理、难以训练顶尖大模子”的疑虑。。。。。。 虽然，，，，，，超节点实质照旧在堆卡，，，，，，这种“鼎力大举出事业”的模式不可阻止带来功耗、冷却等难题，，，，，，古板效劳器机柜功耗通常在几千瓦，，，，，，AI超节点机柜功耗可达100千瓦甚至更高。。。。。。昇腾CLoudMatrix 384超节点在逾越英伟达NVL72的同时，，，，，，功耗也抵达后者的4.1倍，，，，，，每FLOP功耗横跨2.5倍。。。。。。 但需要指出的是，，，，，，功耗在中国虽是不可忽视的问题，，，，，，但并不组成制约因素。。。。。。SemiAnalysis在报告中指出，，，，，，西方普遍以为人工智能受限于电力，，，，，，但在中国情形恰恰相反。。。。。。除了火电，，，，，，中国还拥有全球最大的太阳能、水电和风电装机容量，，，，，，现在在核电安排方面也处于领先职位。。。。。。若是由于相对富足的电力而不保存功耗限制，，，，，，那么放弃功耗指标并增添扩展性是合理的。。。。。。 华为也并非完全不思量功耗。。。。。。；；忠兆腋嫠呤硬煺咄，，，，，，华为在液冷方面有许多奇异手艺，，，，，，包括三明治架构等工程立异，，，，，，风冷也有许多工程和手艺立异，，，，，，来包管功耗的控制和降低。。。。。。同时不管是超节点照旧算力集群，，，，，，并非时刻满负载在跑，，，，，，华为也在做一些动态调频和降温。。。。。。 在云盘算中心，，，，，，华为云还打造了恒温“训练基地”，，，，，，接纳液冷冷板散热手艺，，，，，，让冷媒直接接触发热部件，，，，，，散热效率比古板风冷提升了50%。。。。。。再加上iCooling智能温控系统，，，，，，每五分钟动态调解战略，，，，，，无论外部温度怎么转变，，，，，，都能让数据中心坚持最佳状态。。。。。。最终，，，，，，数据中心的能效比PUE做到1.12，，，，，，比行业平均节能70%。。。。。。 事实上，，，，，，在手艺封闭下，，，，，，能用可接受的价钱，，，，，，最洪流平解决现实问题，，，，，，无疑就是胜利，，，，，，这也是华为以空间换算力、以带宽换算力、以能源换算力的思绪所在。。。。。。当单点手艺被封闭时，，，，，，全栈协同与规模优势将成为破局要害。。。。。。在日益重大的国际情形下，，，，，，华为昇腾CLoudMatrix 384超节点的降生，，，，，，不但为海内提供了除英伟达之外的第二选择，，，，，，也为中国AI工业生长吃下一颗“定心丸”。。。。。。 本文系视察者网独家稿件，，，，，，文章内容纯属作者小我私家看法，，，，，，不代表平台看法，，，，，，未经授权，，，，，，不得转载，，，，，，不然将追究执法责任。。。。。。关注视察者网微信guanchacn，，，，，，逐日阅读意见意义文章。。。。。。