ドイツのAI連盟がオープンソース大規模言語モデルSoofi S 30B-A3Bを発表、ベンチマークテストで優れた性能を示す

近日、ドイツの人工知能協会が調整した研究連盟が、オープンソースの大規模言語モデル Soofi S 30B-A3Bを発表しました。このモデルは、ドイツテレコムのミュンヘンにある産業AIクラウドインフラストラクチャ上で全てのトレーニングが完了しました。事前トレーニングレポートによると、Soofi Sは英語とドイツ語のベンチマークテストで、完全オープンソースモデルの中で最高スコアを獲得し、以前のリーダーであるOLMo 3 32BやApertus 70Bなどのモデルを上回りました。Soofi Sは混合エキスパートアーキテクチャを採用しており、総パラメータ数は316億ですが、生成トークンごとに約32億のパラメータのみがアクティブになり、実際の計算コストは30億規模の密なモデルにより近いです。

この連盟は、NVIDIAのNemotron 3 Nanoの混合アーキテクチャ設計を直接採用し、Mamba-2層と標準注意層を組み合わせています。従来のTransformerモデルと比較して、核心的な違いはメモリの挙動にあります。通常のモデルのKVキャッシュはコンテキストの長さに対して線形に増加し、長い入力や複数のリクエストの並行処理時にボトルネックになりやすいですが、Soofi Sの52層のうち6層のみがこのようなキャッシュを維持する必要があります。実際の生成スループットにおいて、コンテキストの長さが40000トークンで並行リクエスト数が32の時、Soofi Sは各GPUあたり毎秒生成するトークン数が約140億で、240億パラメータ規模の密なモデルの8倍です。

4000から256000トークンのコンテキスト範囲内で、Soofi Sのスループットはほぼ安定しており、従来のモデルは著しく低下します。

Soofi Sは多言語ベンチマークテストで優れたパフォーマンスを発揮

テストデータの中で、AlibabaのQwen3.5 35B-A3Bのみが類似の特性を示し、こちらも混合アーキテクチャを採用しています。トレーニングデータに関して、連盟は約27兆トークンを処理し、3つの段階に分かれています。第一段階では約20兆トークンを使用し、ウェブページ、コード、数学、特定の分野のテキストの広範な混合からのデータを使用して言語基盤を構築しました。第二段階では約6兆トークンのより高品質なデータを使用して、既に学習したパターンを強化しました。第三段階では、100万トークンに及ぶ超長文書をトレーニングすることでコンテキストウィンドウを拡張しました。

ドイツ語データの全体的なトレーニングにおける割合は意図的に引き上げられ、第一段階で7.2%、第二段階で15.3%に達しました。対照的に、NVIDIAのNemotronの参考レシピでは、すべての非英語言語の合計は約5%に過ぎません。データソースには、HPLTのドイツ語ウェブテキスト、ドイツの公共領域コーパス、FinePDFsおよびFineWikiのドイツ語部分、そしてGenios商業コーパスに含まれる916のドイツの出版物からの1.93億件の新聞記事が含まれ、機械翻訳と合成生成されたドイツ語テキストが補完されています。

16のオープンソースモデルに対する評価では、Soofi Sはドイツ語と英語のアグリゲートスコアで、すべての完全オープンソースモデルをリードしており、Allen AI Research InstituteのOLMo 3 32Bやチューリッヒ工科大学およびローザンヌ工科大学のApertus 70Bを上回っています。ヨーロッパの主権ベースラインモデルの中で、Soofi Sはすべてのドイツ語ベンチマークテストで1位にランクされており、一部の項目ではリードの優位性が二桁に達しています。

コード能力に関して、Soofi SはHumanEvalで73.8%、MBPPで70.2%、ドイツ語版MBPPで84.2%を記録し、いずれもオープンソースモデルの中で最高の成績を収めています。ドイツ特定の地域知識テストINCLUDE-DEでは、Soofi Sは61.2点でQwen3.5 35B-A3Bと並んで1位です。Nemotronベースラインと比較すると、ドイツ語データレシピは言語能力を15.1点向上させ、科学テストGPQA-Diamondでは9.6点向上し、英語のパフォーマンスを犠牲にすることなく達成されています。

しかし、Soofi Sには明らかな短所もあります。ドイツの競技数学テストMinerva MATH-DEでは、このモデルは56点しか得られず、Qwen3.5 35B-A3Bの76.5点やGemma 3 27Bの65.6点には遠く及びません。また、オープンファクト検索テストNaturalQuestionsでも後れを取っており、これはアクティブなパラメータ数が32億に過ぎないことに関連している可能性があり、270億の密なモデルに比べて保存できる世界知識が少ないです。