生成AIの品質向上に向けた新たなガイドラインを発表

国立研究開発法人産業技術総合研究所（産総研）は、生成AIに関する品質マネジメントガイドラインの第1版を公開しました。このガイドラインは、生成AIシステムを開発・運用する企業を対象に、品質を確保するための方法や手順を体系的にまとめています。

最近の生成AIの状況

対話型AIや文章生成AIが急速に発展し、一般生活者や企業においても活用が進んでいる昨今ですが、生成AIには誤情報の提示や差別的な内容の生成といったリスクも存在します。そのため、補助的な品質マネジメント手法の整備が強く求められていました。

この背景には、LLM（大規模言語モデル）が利用されることが一般化したことがあり、これらのモデルは従来のAIシステムとは異なる特性を持っています。従って、過去の品質管理手法がそのまま使えるわけではなく、新たなアプローチが必要となります。

新しいガイドラインの目的

新しく開発されたガイドラインは、生成AIシステムが期待通りの機能を果たし、高水準の品質を維持するための基準を示しています。具体的には、以下のような内容が含まれています。

1. 品質要件の導出: 生成AIを用いたシステムの想定用途に基づいて、必要な品質要件を明らかにします。
2. コンポーネントごとの品質管理: システムを構成する各コンポーネントに対し、求められる品質要件を導出し、それを満たすための管理策を講じます。
3. 安全性の確保: 急速なAI技術の進化に伴う安全性への懸念にも配慮し、品質マネジメントの一環として安全性の手法も強調されています。

ガイドラインの構成

本書は、特にLLMを汎用基盤モデルとして利用し、特定の用途に向けて設計されたAIシステムを中心に構成されています。そのため、次の要素が含まれます。

- プロンプトや出力フィルターなど、LLM利用AIの構成要素
- 自然言語及びプログラミング言語で書かれたテキストを処理する大規模言語モデルの品質

生成AI品質マネジメントのフロー

ガイドラインが示す品質マネジメントの流れは、以下のように段階的です。

1. 想定用途の検討
2. コンプーネントへの品質要件の導出
3. 各コンポーネントに適用した品質管理策の実施

また、ガイドラインには、LLM利用AIシステムが保持すべき品質特性や副特性の一覧が提示されています。この一覧は、国際標準であるISO/IEC25000シリーズに基づいていますが、生成AIの特性を考慮してアレンジされています。

研究の経緯と今後の展望

このガイドラインは、2023年度から始まった機械学習品質マネジメント検討委員会での研究成果です。産総研は、以前に「機械学習品質マネジメントガイドライン」を発行しており、それに基づいた新たな手法を展開する形で今回のガイドラインを整備しました。今後は、AI技術の進展に伴い、新たな変化に対応できるよう、ガイドラインの継続的な更新が計画されています。

詳細な文書は、2025年度の人工知能学会全国大会で発表されることにも注意が必要です。興味のある方はぜひ、産総研のウェブサイトで情報をチェックしてください。