Huaweiが中国産AIエコシステムでトレーニングした言語モデル「Pangu Pro MoE 72B」をリリース＆推論技術をオープンソース化

Huaweiがパラメーター数720億の大規模言語モデル「Pangu Pro MoE 72B」を2025年6月30日(月)にリリースしました。Pangu Pro MoE 72BはHuaweiのAscendエコシステムを用いてトレーニングされており、パラメーター数1000億未満のモデルの中では最高峰の性能を備えているとのこと。また、HuaweiはAIモデルの開発に関係する複数の技術をオープンソース化しています。

Ascend Tribe - GitCode
https://gitcode.com/ascend-tribe

项目首页 - pangu-pro-moe-model:【模型权重】盘古 Pro MoE (72B-A16B)：昇腾原生的分组混合专家模型 - GitCode
https://gitcode.com/ascend-tribe/pangu-pro-moe-model

[2505.21411] Pangu Pro MoE: Mixture of Grouped Experts for Efficient Sparsity
https://arxiv.org/abs/2505.21411

高性能AIの開発には大量のGPUなどを備えた大規模AIインフラストラクチャーが必要ですが、アメリカは高性能半導体の中国への出荷を厳しく制限しており、中国ではNVIDIAなどのAIチップを入手することが困難になっています。そんな中、HuaweiがNVIDIA製AIチップに匹敵する性能を備えた「Ascend」シリーズの開発に成功し、アメリカ企業に依存しないAI開発体制の構築が現実的になっていました。

HuaweiはNVIDIAのAIチップ「H100」に匹敵する「Ascend 910C」を早ければ5月に中国の顧客向けに大量出荷するとの報道 - GIGAZINE

そして、2025年6月30日にHuaweiはAscendエコシステムを用いてトレーニングした大規模言語モデルPangu Pro MoE 72Bをリリースしました。Pangu Pro MoE 72Bの各種ベンチマーク結果を「Qwen3-32B」「GLM-Z1-32B」「Gemma3-27B」「Llama4-Scout」と比べた結果が以下。Pangu Pro MoE 72Bは複数のベンチマークで最高スコアを記録しており、パラメター数の多いLlama4-Scoutに対しても複数のテストで勝利しています。

近年のLLMの多くは複数の専門家モデルを組み合わせる「Mixture of Experts(MoE)」と呼ばれる仕組みを採用しています。しかし、MoEには「一部の専門家モデルが頻繁にアクティブ化されるため、並列実行時に非効率性が生じる」という問題があるとのこと。この問題を解決するべくHuaweiは専門家モデルのワークロードを適切にバランス化できる「Mixture of Grouped Experts(MoGE)」を開発してPangu Pro MoE 72Bのトレーニングに適用しました。これにより「Ascend 800I A2 NPU」でPangu Pro MoE 72Bを実行した際に1秒当たり1148トークンという高速な処理速度を実現しました。

Pangu Pro MoE 72Bのモデルデータは以下のリンク先で公開されています。

项目首页 - pangu-pro-moe-model:【模型权重】盘古 Pro MoE (72B-A16B)：昇腾原生的分组混合专家模型 - GitCode
https://gitcode.com/ascend-tribe/pangu-pro-moe-model

また、Pangu Pro MoE 72Bのトレーニングに使われた各種技術もオープンソース化されており、各種技術の情報は以下のページにまとまっています。

Ascend Tribe - GitCode
https://gitcode.com/ascend-tribe