簡単な画像から現実的な3Dモデルを作成することは、人工知能にとって依然としてかなり難しい課題です。人工知能は印象的な画像を生成することができますが、エンジニアが航空機の部品、自動車、消費財の設計に使用する正確なCADコードを生成することはさらに挑戦的です。わずかな誤りでも設計が使用できなくなる可能性があります。現在、マサチューセッツ工科大学、IBM、Red Hatの研究者たちが、2D画像を機能的なCADプログラムに変換する人工知能システムの能力を大幅に向上させるフレームワークを開発しました。このフレームワークは、より正確な設計を生成し、推論計算量を約80％削減します。
この新しい研究は、人工知能駆動のエンジニアリングにおける大きな障害、すなわち高品質なCADトレーニングデータの不足を解決します。既存の画像からCADへのシステムは、2D画像を有効なCADプログラムにリンクするために大量の例を必要としますが、これらのデータセットを作成することは高価で労働集約的です。新しい方法は、より多くの人工的に作成されたデータに依存するのではなく、人工知能がすでに犯した誤りを利用して教育を行います。
GIFTフレームワークがCAD生成能力を大幅に向上
研究の主任著者であり人工知能研究者のGiorgio Giannoneは、「私たちはモデル自体が提供する情報によってデータを強化したいと考えています。」と述べています。このチームのフレームワークは、幾何推論フィードバック調整（GIFT）と呼ばれ、視覚言語モデルと組み合わせて機能し、2D画像とテキスト記述をCADソフトウェアで実行可能なPythonコードに変換して3Dオブジェクトを作成します。モデルの弱点を理解するために、GIFTは同じCAD問題を並行して複数回解決させます。
出力の中には正しいものもあれば、目標設計に近いものもあり、また別のものは大きく外れているものもあります。研究者たちは、これらの「近似誤り」の出力が最も貴重であると指摘しています。なぜなら、それらはモデルがまだ理解していない具体的な内容を明らかにするからです。システムは生成された各CADプログラムを実行し、交差比（Intersection over Union、IoU）という標準的なエンジニアリング指標を使用して、生成された3D幾何形状と目標との一致度を比較します。GIFTは不完全な出力を放棄するのではなく、正しい出力に近いものを特定し、それらを利用して新しいトレーニング例を生成します。
GIFTの自動化学習プロセスがモデルの性能を向上
Giannoneは、「もし私たちがモデルを10回サンプリングし、同じ問題に対して10の正しい答えを生成した場合、モデルは学ぶべきことがあまりありません。私たちが関心を持っているのは中間の状況で、モデルが問題の50％しか解決できない可能性があるからです。」と説明しています。GIFTは2つの補完的な技術を通じてモデルを改善します。最初の技術はGIFT-REJECTと呼ばれ、元の参照解決策とは異なるが正しい幾何形状を生成する代替CADプログラムを保持します。従来の人工知能トレーニングは通常、各オブジェクトに対して1つの正しいCADプログラムがあると仮定しますが、エンジニアは同じ部品をさまざまな方法で作成できます。
複数の有効な解決策にモデルを接触させることで、GIFTはCAD設計の構築方法に対する理解を広げます。2つ目の方法GIFT-FAILは不完全な出力に焦点を当てます。システムはAIが生成したほぼ正しい3Dモデルを画像に戻し、その画像を正しいCADプログラムとペアにします。これにより生成される新しい例は、モデルが特定の誤りから回復する方法を効果的に教えます。
さらに重要なのは、このプロセスは人間の介入を必要としないことです。このフレームワークは自動的に誤りを特定し、新しいトレーニングデータを作成し、これらの情報を利用してモデルを改善します。研究者たちはGIFTを設計し、推論時間スケーリングと呼ばれる技術を採用しました。このシステムは生成プロセス中に性能を向上させ、全体の人工知能モデルを再訓練するのではなく、これは非常に高価な可能性があります。GIFTは、より良いCADプログラムを探す際に費やされた追加の計算を成功とほぼ成功の試行に変換し、それを新しいトレーニング例に変換して後続の微調整を行います。
また、ユーザーは予算や時間の制約に応じて投入する計算量を決定できます。
GenCAD-Codeデータセットでの評価は、GIFTを強化したモデルが強力な監視学習基準と比較して幾何学的正確性を12％向上させたことを示しています。このフレームワークは、相当な性能を実現するために必要な推論計算量を約80％削減しました。Giannoneは、「GIFTを使用することで、私たちは幾何から始めます。なぜなら、エンジニアリングの問題では、3D形状の幾何が正しくない場合、他のすべてが正しくないからですが、考慮すべき他の多くの側面もあります。」と指摘しています。このシステムが自身の誤りから学ぶ能力は、製品開発を加速させ、AI生成のCADモデルをより信頼性の高いものにするのに役立つ可能性があります。
エンジニアはスケッチからテスト可能な3Dデザインに迅速に移行でき、開発コストを削減し、設計サイクルを短縮し、大量の新しいトレーニングデータを作成することなく、より広範な創造性を探求できます。研究者は、これは単なる始まりに過ぎないと述べています。現在、GIFTは正確な幾何学的形状の生成に焦点を当てていますが、将来のバージョンでは、AIに対して形状が正確であるだけでなく、製造が容易で、実際の性能に適した部品を設計する方法を教えることを目指しています。