新世代のAIモデルが浮かび上がらせたビールと映画の記憶変化

株式会社トドオナダが実施した調査では、大規模言語モデル（LLM）が記憶集合に与える影響について、古い世代と新しい世代の比較を行いました。特に注目されたのは、ビールと映画のカテゴリーにおける回答の変化です。この調査は、モデルの性能向上が実際に利用者にどう影響するかを探るものです。

背景と目的

LLMの開発は、主に2つの段階に分かれています。第一段階は、モデルが大量のテキストデータを解析し、その中から企業名や商品の関連を記憶する事前学習です。第二段階は、人が使いやすくなるように内容を調整し、安全性を確認する事後学習です。本調査は、事前学習に焦点を当てており、古い世代と新しい世代の記憶の変化を比較しました。

調査に使用したモデルはClaude Opus 4.8（旧世代）とClaude Opus 5（新世代）。各モデルには、ビールと公開中の映画に関する特定の質問が投げかけられました。この結果、100回ずつの回答を集計し、なにが変わったのかを探ることができました。

主な調査結果

1. 約2か月で新たな知識が反映

Claude Opus 5は、2026年7月にリリースされた新世代のモデルで、その知識のカットオフは2026年5月です。調査の結果、ここでの想起集合は劇的に変わっていました。特に映画については、2025年公開の新作映画が上位に顔を出し、以前の世代との共通項が全くなくなっていました。この変化は、単に調整や評価の変更だけでは説明できないものでした。

2. 想起集合の強固さは一世代で測定可能

調査を通じて、回答のバラツキを示す試行間重複率を計算しました。ビールに関しては、同じ質問に対する上位3位の回答が常に同じであったのに対し、映画では大きな入替わりが見られました。このことからも、ビールの関連表示は非常に安定している一方で、映画の記憶は流動的であることがわかりました。

3. 新モデルに現れる知識の変化

興味深いことに、Opus 5では報道の「山場」があり、その時期に話題になった映画作品が上位に現れる傾向がありました。これは、報道の集中が新たな知識としてモデルに影響を与えることを示しています。

結論

この調査によって、世代間でのLLMの知識の変化や、それがビールや映画に関する記憶にどう影響を与えるかが明らかになりました。特に、近年の報道の集中が記憶に与える影響は顕著で、企業やブランディングにおいては、タイムリーな情報発信がモデルの応答にどのように影響するかを見極めることが重要だと言えます。

今後も、株式会社トドオナダはこの研究を通じて、LLMの進化に伴う市場の変化を探り続けるとのことです。