新たな点群言語モデルがAIによる複数物体理解を進化させる

新たな視覚言語モデルの開発

国立研究開発法人産業技術総合研究所（産総研）が、複数物体の幾何的関係性を理解し、説明できる新しい点群言語モデルを開発しました。この技術革新は、製造業でのAI活用の可能性を大きく広げるものです。

1. 研究の背景と課題

製造現場では、部品同士の接合や形状の違いを理解することが不可欠です。従来の視覚言語モデルは、主に単一物体を認識することに限られており、複数物体を見比べることにおいては課題が残っていました。特に「どの部品が接合するか」や「どの部分が異なるか」といった解析が行えないため、現場の作業効率に影響を及ぼしていました。このため、AIによる進化した解析能力が急務となっていたのです。

2. 新しいデータセット「MO3D」

産総研では、複数物体の幾何的関係性について学習させるため、約7万件の三次元点群データから成るデータセット「MO3D」を構築しました。このデータセットは、部品の接合や形状比較を行うための質問応答を含んでおり、AIが実世界の物体を理解するための新しい基盤を提供します。

3. Multi-3DLLMの開発

「MO3D」を利用し、部品レベルで複数物体を比較できる点群言語モデル「Multi-3DLLM」が開発されました。このモデルは、複数の物体の幾何的関係性を直接的に捉えることができ、さらにその理解を言葉で説明する能力を持っています。評価実験では、従来型の視覚言語モデルを上回る結果を示し、特に物体比較に関する課題では正答率が約1.8倍に向上しました。