新たなLLMの記憶を可視化する「ディギコのチャピりログ」公開！

ディギコのチャピりログとは

株式会社トドオナダが新たに公開した「ディギコのチャピりログ」は、人工知能の大規模言語モデル(LLM)が特定のカテゴリに関してどのような想起を行うのかを可視化した画期的なサイトです。このプラットフォームでは、LLMの記憶の中身を直接見ることはできませんが、複数回の同じ質問を通じて、安定して浮かび上がる対象を整理することができます。

LLMの想起集合を探る

具体的には、「{カテゴリ}といえば？」という固定の質問文を用いて、安定した想起集合がどのように形成されるかを測定しています。質問を10回繰り返すことで、各カテゴリにおける想起の強さ、そして記憶の安定性を把握することが可能です。

このシステムは、ビューティー領域において84の小カテゴリを設けており、それぞれのカテゴリにおけるLLMの答え方や想起のパターンを明らかにしています。特に、あるカテゴリが「盤石」な場合にはLLMは記憶を用いて答えますが、「不安定」となった場合は外部の検索ツールに頼る様子が観察されます。

サイトの機能

カテゴリページと商品ページ

- カテゴリページでは、想起集合がどのように構成されているか、及びその強度を4段階で表示しています。
- 商品ページでは、想起された対象に対するLLM自身の説明文や、参考となる商品情報が掲載されています。

さらに、サイト内のキャラクター「ディギコ」が、各カテゴリの想起の特徴を解説しており、理解を深める手助けをしています。これにより、ユーザーはLLMの記憶の特性やそれに伴う傾向を直感的に把握することができます。

今後の展開と自社ブランドの測定

今後、トドオナダではカテゴリ領域の拡張や、モデル更新に合わせた再測定を実施予定です。このような情報は、競合他社との想起シェアを比較する際に特に有用です。自社ブランドと想起集合の関係をより詳細に知りたい場合、『ディギディギ』という専用の認知確認ツールを使用することができます。このツールでは、自社ブランドがどの程度想起されているか、ハルシネーションの有無等の詳細情報を得ることが可能です。