アリババのAIプラットフォーム、Qwen3-Max-Flashモデルを発表　新しいハイブリッドアテンションアーキテクチャを採用

アリババ傘下の千問 AI プラットフォームは、8 月 27 日に Qwen3-Max-Flash モデルを正式に発表しました。これは多モーダル混合専門家（MoE）アーキテクチャとして位置づけられ、コストパフォーマンスを重視しています。公式に発表された最新の価格は、入力が毎百万 Tokens あたり RMB¥0.80、出力が毎百万 Tokens あたり RMB¥2.70、キャッシュヒットが毎百万 Tokens あたり RMB¥0.10です。

Qwen3-Max-Flash は全く新しい混合注意力アーキテクチャを採用

Qwen3-Max-Flash は、過去の千問大型モデルとは全く異なる次世代（Next）アーキテクチャを採用しており、総パラメータ数は千億レベルに達しますが、推論時には毎回 60 億（6B）パラメータのみを活性化します。これにより、世界のモデル効率基準を刷新することを謳っています。注意力メカニズムにおいては、モデルは独自の QSA（Qwen Sparse Attention）スパース注意力メカニズムを導入し、GDN と高効率で融合した混合注意力アーキテクチャを形成しています。高キャッシュヒット、1M Tokens の長いコンテキストシーンにおいて、計算速度は従来のソリューションに比べて 8 倍以上向上し、精度も兼ね備えています。

内部の層間通信において、モデルは自社開発の Gated Residual メソッドを採用し、従来の Transformer の単一情報主通道を 4 本の独立した通道に分割します。これにより、モデルは必要に応じて動的に読み書きパスを決定し、情報伝達がより効率的になり、トレーニングの安定性も向上します。この設計は、従来の単一通道によるボトルネックを改善し、大規模トレーニング時の勾配の流れをよりスムーズにします。

51B N-gram Embedding によるパラメータ拡張効率の向上

パラメータ拡張の面では、モデルは追加で 51B の N-gram Embedding パラメータを導入し、Transformer のメインストリームに効率的なルックアップ機能を提供します。このパラメータは、毎回の Token 計算時に即時に活性化する必要がなく、極めて低いリソース消費で「外付け」される大規模なメモリガイドブックとして機能し、モデルのパラメータ拡張効率を大幅に向上させ、トレーニングコストを削減します。このようなデカップリング設計により、モデルは推論速度を維持しつつ、より多くの世界知識を静的パラメータに事前にロードすることが可能になります。

調整の面では、Qwen3-Max-Flash はモデル構造と後期最適化を協調的に進める戦略を採用し、収束効率とトレーニングスループットの両方を著しく向上させています。これらの技術を総合すると、新モデルはプログラミングやエージェントなどの実際のタスクシーンにおいて、より低価格で効率的な推論サービスを提供し、企業向けアプリケーションによりコスト効率の良い選択肢を提供します。