#トドオナダ #LLM #ディギディギ

LLMの記憶と検索の利用法

株式会社トドオナダが実施した調査は、LLM（大規模言語モデル）が質問に対してどのように記憶や検索を使い分けているのかを解明しました。この研究では、ビューティー領域に関する84の小カテゴリを対象に、二つのモデルであるGPTとClaudeを使用してその挙動を観察しました。

1. 想起集合の安定度とRAG発火率の逆相関

調査結果によると、想起集合が安定しているカテゴリでは、LLMが検索に頼る割合（RAG発火率）が低下する傾向が見られました。たとえば、質問文を「〜といえば？」とした場合、強固な想起集合を持つカテゴリでは約6%から約2%の発火率でしたが、不安定な想起集合ではその割合が約60%まで上昇しました。これは、記憶の安定性がインプットにどれだけ影響を与えるかを示唆しています。

2. 検索発火の二つの層

調査では、発火の要因が「想起時点」と「質問時点」の二つに分かれることも確認されました。例えば、「おすすめ」や「人気」というカテゴリ語は、質問時点で無関係に検索を誘発し話題になりますが、想起時点の発火はより複雑で、想起集合の状態によって大きく左右されます。この違いを明確にするために、同一カテゴリにおいて異なる言葉での質問を試みると、その結果も異なることが分かりました。

3. モデル毎の質問語の効き方の違い

同じ質問文でも、GPTとClaudeでは検索を呼び出す傾向が異なります。たとえば、GPTでは「人気の〜」がすべてのカテゴリで正確に発火しましたが、Claudeではそうした影響がそれほど強くなく、想起の安定度が射程に残りました。これは、各モデルの設計やアルゴリズムによる差異であると考えられます。

4. 検索ツールの利用実例

最も興味深いのは、LLMが生成した検索クエリの仕組みです。検索ツールが呼び出された場合、LLMは自ら想起したメーカー名や型番をもとに検索クエリを組み立てていました。これは、検索が単に情報を探す行為ではなく、既に思い浮かべた事実を確認・更新する行為であることを示しています。

調査の日と使用されたツール

この調査は2026年8月に実施され、ビューティー領域のカテゴリを調査するための独自のツール「ディギディギ」を使用しました。結果は「ディギコのチャピりログ」として公開されており、ユーザーはLLMの学習と利用方法に関する詳細なデータを閲覧できます。

結論

本調査の結果から、LLMの記憶メカニズムや検索利用の理解が深まることが期待されます。特に、ビューティーといった特定の領域における利用法は、今後の技術開発において重要な示唆を提供します。今後の研究にも注目していきたいところです。

関連リンク

サードペディア百科事典: トドオナダ LLM ディギディギ