最近、ドイツ人工知能協会が調整した研究連盟がオープンソースの大規模言語モデルSoofi S 30B-A3Bを発表しました。このモデルは、ドイツテレコムのミュンヘンにある産業AIクラウドインフラストラクチャ上で全てのトレーニングが完了しました。事前トレーニングレポートによると、Soofi Sは英語とドイツ語のベンチマークテストで完全オープンソースモデルの中で最高得点を獲得し、従来のリーダーであるOLMo 3 32BやApertus 70Bなどのモデルを超えました。Soofi Sは混合エキスパートアーキテクチャを採用しており、総パラメータ数は316億ですが、各生成トークンでは約32億のパラメータのみが活性化され、実際の計算コストは30億規模の密なモデルに近いものとなっています。
この連盟は、NVIDIAのNemotron 3 Nanoの混合アーキテクチャ設計を直接採用し、Mamba-2層と標準注意層を組み合わせています。従来のTransformerモデルと比較して、核心的な違いはメモリの動作にあります。通常のモデルではKVキャッシュがコンテキストの長さに応じて線形に増加し、長い入力や複数のリクエストを同時に処理する際にボトルネックになりやすいのに対し、Soofi Sの52層のうち6層のみがそのようなキャッシュを維持する必要があります。実際の生成スループットにおいて、コンテキストの長さが40000トークンで並列リクエスト数が32の場合、Soofi Sは各GPUあたり毎秒生成するトークン数が約140億から240億で、パラメータ規模が密なモデルの8倍に達します。
4000から256000トークンのコンテキスト範囲内で、Soofi Sのスループットはほぼ安定しており、従来のモデルは顕著に低下します。
Soofi Sは多言語ベンチマークテストで優れたパフォーマンスを発揮
テストデータの中で、AlibabaのQwen3.5 35B-A3Bのみが類似の特性を示し、こちらも混合アーキテクチャを採用しています。トレーニングデータに関しては、連盟は約27兆トークンを処理し、3つの段階に分かれています。第一段階では約20兆トークンを使用し、ウェブページ、コード、数学、特定の分野のテキストの広範な混合を含むソースから言語基盤を構築します。第二段階では約6兆トークンのより高品質なデータを使用して、学習したパターンを強化します。第三段階では、100万トークンに及ぶ超長文書をトレーニングしてコンテキストウィンドウを拡張します。
ドイツ語データの全体的なトレーニングにおける割合は意図的に引き上げられ、第一段階では7.2%、第二段階では15.3%に達しました。対照的に、NVIDIAのNemotronの参考レシピでは、すべての非英語言語が合計で約5%に過ぎません。データソースには、HPLTドイツ語ウェブテキスト、ドイツの公共領域コーパス、FinePDFsおよびFineWikiのドイツ語部分、916のドイツの出版物からの1.93億件の新聞記事を含むGenios商業コーパスが含まれ、機械翻訳や合成生成されたドイツ語テキストが補完されています。
16のオープンソースモデルに対する評価では、Soofi Sはドイツ語と英語のアグリゲートスコアで全ての完全オープンソースモデルをリードし、Allen Institute for AIのOLMo 3 32BやETH ZurichおよびEPFLのApertus 70Bを含みます。ヨーロッパの主権ベースラインモデルの中で、Soofi Sはすべてのドイツ語ベンチマークテストで1位を獲得し、一部の項目ではリードの優位性が2桁に達しています。
コード能力に関して、Soofi SはHumanEvalで73.8%、MBPPで70.2%、ドイツ語版MBPPで84.2%のスコアを獲得し、いずれもオープンソースモデルの中で最高の成績です。ドイツ特有の地域知識テストINCLUDE-DEでは、Soofi Sは61.2点でQwen3.5 35B-A3Bと並んで1位です。Nemotronベースラインと比較して、ドイツ語データレシピは言語能力を15.1点向上させ、科学テストGPQA-Diamondでは9.6点向上し、英語のパフォーマンスを犠牲にすることはありませんでした。
しかし、Soofi Sには明らかな短所も存在します。ドイツの競技数学テストMinerva MATH-DEでは、このモデルは56点しか得られず、Qwen3.5 35B-A3Bの76.5点やGemma 3 27Bの65.6点には遠く及びません。また、オープンファクト検索テストNaturalQuestionsでも後れを取っており、これは32億の活性化パラメータ量に起因する可能性があり、270億の密なモデルよりも保存できる世界知識が少ないためです。
項目 規格 総パラメータ数 316億 アクティブパラメータ数 32億