イギリスの《フィナンシャル・タイムズ》によると、字節跳動は新しい超大規模人工知能モデルの訓練に取り組んでおり、そのパラメータ数は最大で10兆に達する可能性があります。もし最終的にこの規模に達すれば、このモデルは現在公開されているか外部に開示されているほとんどの大規模言語モデルを明らかに上回り、Anthropicの最先端モデルであるMythosに近づく可能性があります。
3人の情報筋によると、このモデルは現在まだ初期段階にあり、プレトレーニングが行われています。プレトレーニングには通常3〜6ヶ月かかり、その後微調整などの段階に入るため、最終版の具体的なパラメータ規模はまだ確定していません。比較として、Anthropicはモデルの具体的なパラメータを公開していませんが、業界ではその先進的なMythos 5が約8兆のパラメータを持つと推定されており、Fable 5は約5兆のパラメータを持つとされています。もし字節跳動が最終的に10兆パラメータに近いモデルを発表すれば、その規模は現在の世界の超大規模モデルの第一梯隊に入ることになります。
字節跳動の超大規模人工知能モデルが業界トレンドをリードする
注意が必要なのは、パラメータ数はモデルが処理できる情報の規模や一部の能力の上限を決定しますが、モデルの実際のパフォーマンスと直接的に等しいわけではないということです。トレーニングデータの質、トレーニング方法、推論効率、計算力の投入も最終的な効果に影響を与えます。以前、《LatePost》は字節跳動内部で5兆を超えるパラメータ規模のモデルを訓練することについて議論されていると報じました。
参考までに、アリババのQwen 3.8-Maxのパラメータ数は約2.4兆であり、月の暗面のKimi K3は約2.8兆です。もし今回の10兆パラメータ計画が最終的に実現すれば、国内の大規模モデルにおけるモデル規模の競争がさらに激化することを意味します。