Googleが小型の埋め込みモデル「EmbeddingGemma」を発表、メモリ使用量はわずか200MB

Googleがオンデバイスで動作する埋め込みモデル「EmbeddingGemma」を公開しました。EmbeddingGemmaのパラメータ数は約3億で、メモリ使用量はわずか200MBです。

Introducing EmbeddingGemma: The Best-in-Class Open Model for On-Device Embeddings - Google Developers Blog
https://developers.googleblog.com/en/introducing-embeddinggemma/

EmbeddingGemmaは、約1億個のモデルパラメータと約2億個の埋め込みパラメータで構成される埋め込みモデルです。高効率パラメータ設計により、ハードウェア上で直接実行される検索拡張生成やセマンティック検索などの技術を用いたアプリケーションを構築できます。小型、高速、効率的で、カスタマイズ可能な出力次元と2Kトークンコンテキストウィンドウを備えており、携帯電話やノートPC、デスクトップPCなどの日常的に使用するデバイスでオフライン動作することが想定されてます。

EmbeddingGemmaは100以上の言語で学習済みであり、データの精度を落とすことでサイズを小さくする「量子化」の技術を用いることで、200MB未満のRAMで実行できるほど小型なモデルとなっています。テキスト埋め込みモデルの性能を評価するベンチマークである「MTEB」において、「5億パラメータ未満のオープン多言語テキスト埋め込みモデルとして、最高評価を獲得した」とGoogleのスンダー・ピチャイCEOは述べています。

以下は、MTEBのスコアを表に示したもの。横軸がモデルのサイズ、縦軸がスコアで、グラフによるとEmbeddingGemmaはサイズがほぼ2倍のモデルに匹敵するパフォーマンスを実現しています。

また、EmbeddingGemmaはRAG(検索拡張生成)パイプラインの構築に特徴があります。RAGパイプラインには、ユーザーの入力に基づいて関連するコンテキストを取得し、そのコンテキストに基づいた回答を生成するという2つの重要な段階があります。EmbeddingGemmaでは、最初の検索ステップの品質を高いパフォーマンスで保証することで、正確で信頼性の高いオンデバイスアプリケーションに必要な高品質な表現を提供します。

EmbeddingGemmaはHugging Face、Kaggle、Vertex AIからダウンロード可能。EmbeddingGemmaをプロジェクトに統合する方法などは、Googleのドキュメントから確認できます。