研究者たちは、ツールを使用するLLMエージェントの事実性における重大な欠落に対処する、生成後検証レイヤーであるProvenanceanceGuardを導入しました。エージェントが単一パスのRAGから、Model Context Protocol (MCP) を使用した複雑なセットアップへと移行するにつれ、データベース、検索ツール、構造化された記録など、複数のソースから情報を取得することが多くなっています。これにより、ある主張が証拠プール内では真実であるものの、誤ったソースに帰属されてしまう「ソース間の混同（cross-source conflation）」のリスクが生じます。
ProvenanceGuardがMCPベースのLLMエージェントに向けたソース認識型検証を導入
この記事は翻訳です。 原文を読む
ProvenanceGuardは、ツールの出力とその固有のソースIDを含む、キャプチャされたMCPトレースを分析することで、「ブラックボックス」なMCPエージェントの上で動作します。このシステムは5段階のプロセスに従います。回答を特定の主張に分解し、それぞれに対して最も関連性の高いソースを特定し、そのソースが主張を裏付けているか検証し、そのソースが回答内で名指しされたものと一致するかを確認し、最後に判定を下します。
患者記録と研究論文を利用した医療エージェントを用いた評価において、この手法は高い精度を示しました。人間の専門家が拒否すべき139の主張を特定したところ、ProvenanceGuardはそのうち138個を正常に検知しました。また、テスト中のケースにおいて、約86%の割合で特定の裏付けソースを正しく特定しました。
この手法は、非常によく似たソースの区別において課題を示したものの、制御されたテスト環境下では、意図的なソースの入れ替えの全事例を検出することに成功しました。研究者らは、検証によるオーバーヘッドはわずかであり、ローカル構成では回答1つにつき約0.5秒が追加される程度であると述べています。このソース認識型のアプローチは、情報の正確な出所を知ることが極めて重要となる環境において、データの機密性と正確性を維持する方法を提供します。
出典
- Getting the Source Right, Not Just the Fact: Source-Aware Verification for MCP Agents （Hugging Face Blog, 2026-09-29）
- arXiv