イギリスの《フィナンシャル・タイムズ》によると、字節跳動は新しい超大規模人工知能モデルの訓練に取り組んでおり、そのパラメータ数は最大で10兆に達する可能性があります。最終的にこの規模に達すれば、このモデルは現在公開されているか外部に開示されているほとんどの大規模言語モデルを明らかに超え、Anthropicの最先端モデルであるMythosに近づく可能性があります。
3人の関係者によると、このモデルは現在まだ初期段階にあり、事前訓練が進行中です。事前訓練には通常3〜6ヶ月かかり、その後微調整などのプロセスに入るため、最終版の具体的なパラメータ規模はまだ確定していません。比較として、Anthropicはモデルの具体的なパラメータを公開していませんが、業界ではその先進的なMythos 5が約8兆のパラメータを持つと推測されており、Fable 5は約5兆のパラメータを持つとされています。もし字節跳動が最終的に10兆パラメータに近いモデルを発表すれば、その規模は現在の世界の超大モデルの第一梯隊に入ることになります。
字節跳動の超大規模人工知能モデルが業界のトレンドをリードする
注意すべきは、パラメータ数はモデルが収容できる情報の規模や一部の能力上限を決定しますが、モデルの実際のパフォーマンスと直接的に等しいわけではないということです。訓練データの質、訓練方法、推論効率、計算能力の投入も最終的な効果に影響を与えます。以前、《LatePost》は字節跳動が内部で5兆を超えるパラメータを持つモデルの訓練について議論していると報じました。
参考までに、アリババのQwen 3.8-Maxのパラメータ数は約2.4兆であり、月の暗面のKimi K3は約2.8兆です。もしこの10兆パラメータ計画が最終的に実現すれば、国内の大モデルにおけるモデル規模の競争はさらに激化することになります。