画像生成AI「Stable Diffusion 3.5 Large」の18GBを超えるVRAM使用量を40％も削減して11GBにする新技術をNVIDIAが公開

生成AIのパフォーマンスは日々向上していますが、より優れたAIを動かすためには、より多くのVRAM(ビデオランダムアクセスメモリ)が必要になります。例えば画像生成AIのStable Diffusion 3.5のうち、80億のパラメータを持つ最も強力な「Large」を実行する場合、基本モデルは18GBのVRAMを使用します。このVRAM使用量を削減して、より効率的なパフォーマンスで実行できる技術をNVIDIAが公開しました。

TensorRT Boosts Stable Diffusion 3.5 on RTX GPUs | NVIDIA Blog
https://blogs.nvidia.com/blog/rtx-ai-garage-gtc-paris-tensorrt-rtx-nim-microservices/

NVIDIAはStable Diffusionで知られるAI企業のStability AIと協力し、最新モデルであるStable Diffusion 3.5 Largeを「量子化」することに成功しました。量子化とはデータの精度を落とすことでそのサイズを小さくする技術で、例えば32ビット浮動小数点(FP32)では0.123456といった細かい数値を表現できますが、これを8ビット整数(INT8)に変換すると0から255の整数に変換されます。これにより精度は低下しますが、データサイズは4分の1になるため、メモリ使用量が削減されたり、計算速度が向上したり、消費電力を削減してより効率的な計算が可能になったりします。

NVIDIAはディープラーニング推論を最適化するツールである「NVIDIA TensorRT」と、Tensorコアを搭載した「RTX GPU」を用いて、生成AIモデルを「量子化」することに成功しました。

NVIDIAの発表によると、18GBを超えるVRAMを使用するStable Diffusion 3.5 Largeの基本モデルについて、FP8に量子化にすることで、VRAM要件を40％削減した11GBまで引き下げることが可能になったとのこと。さらに、Stable Diffusion 3.5 Largeでは2.3倍、Mediumでは1.7倍のパフォーマンス向上を実現したそうです。

具体的には、18GBを超えるVRAMを使用する場合、安定して使用するには20万円前後のグラフィックボードが必要になります。しかし、VRAM要件を11GBまで引き下げた場合、以下のような12GBのVRAMを搭載した5万円前後のグラフィックボードで問題なく使用できるようになる可能性があります。

Amazon.co.jp: ASUSTek NVIDIA RTX3060 搭載 Axial-techファンと2スロット設計 DUAL-RTX3060-O12G-V2 : パソコン・周辺機器

最適化されたモデルは、Stability AI の Hugging Face ページで公開されています。

NVIDIA Optimized - a stabilityai Collection
https://huggingface.co/collections/stabilityai/nvidia-optimized-684937de2f047a43a8b5456b

NVIDIAとStability AIは、Stable Diffusion 3.5をNVIDIA NIMマイクロサービスとしてリリースするための協力関係も築いています。これにより、クリエイターや開発者は、幅広いアプリケーション向けにモデルへのアクセスと展開が容易になります。NIMマイクロサービスは2025年7月のリリース予定です。