AMDが独自開発の推論モデル「Instella-Math」を公開

AMDが、AMDのGPUのみでトレーニングしたという言語モデル「Instella-Math」を発表しました。パラメーター数は30億で、推論や数学的問題解決等に特化しているとのことです。

Introducing Instella-Math: Fully Open Language Model with Reasoning Capability — ROCm Blogs
https://rocm.blogs.amd.com/artificial-intelligence/instella-math-language/README.html

Instella-Mathは32台のAMD Instinct MI300X GPUを用いてトレーニングされたモデルです。AMDによると、AMDのGPUだけを使って長い思考連鎖(long chain-of-thought)強化学習を行った言語モデルはこれが初めてだとのこと。

Instella-Mathは完全にオープンな推論言語モデルで、アーキテクチャ、トレーニングコード、ウェイト、データセットはすべて公開されています。ベースモデルであるInstella-3B-Instructや、教師ありファインチューニング(SFT)のデータも完全にオープンで、誰でもモデルを検査、使用、変更、または構築することが可能です。

AMDはInstella-3B-Instructモデルの推論能力を段階的に向上させるため、2段階の教師ありファインチューニングプロセスを実施したとのこと。第1段階では数学能力のカバー範囲を強化するためのチューニングを行い、第2段階では数学オリンピックレベルの問題に対処するための推論ステップを生成する能力をモデルに付与しました。

こうしたトレーニングの結果、Instella-MathはDeepseek-R1-Distilled-Qwen-1.5B、Still-3-1.5B、DeepScaleR-1.5B、SmolLM3-3Bなどのオープンウェイトモデルに並ぶ性能を発揮したとのこと。AMDは「すべてのベンチマークにおいて競争力のある平均性能を達成するだけでなく、当社のトレーニング手法の有効性を示しています」と伝えました。

AMDは「多くの競合モデルはオープンウェイトに限定されており、ベースモデルのトレーニングや推論蒸留プロセスは非公開のままですが、Instella-Mathは完全にオープンな言語モデルであり、ベースモデル、推論SFT、強化学習段階のトレーニングデータもすべてオープンです。当方の知る限り、Instella-MathはAMDのGPUでトレーニングされた最初の完全オープンな数学推論モデルです。AMDのオープンイノベーションへのコミットメントの一環として、私たちはモデルウェイト、トレーニング設定、コードベース、データセットを共有し、AIコミュニティにおける協業、透明性、進歩を促進します」と述べました。

各種データはHugging Faceで公開されています。

amd/Instella-3B-Instruct · Hugging Face
https://huggingface.co/amd/Instella-3B-Instruct