Kapaが実データを用いたエージェントの検索能力を評価するCompany Knowledge Benchを発表

このベンチマークは、実際のプロダクションデータからアノテーションされた1,000の評価ケースで構成されています。拡張性と正確性を確保するため、Kapaはエージェントを使用してラベルを生成し、人間がラベル付けした170ケースのデータセットと比較してその性能を検証しました。このベンチマークでは、検索エンジン（retriever）を「網羅性（completeness）」「最小性（minimality）」「ソースの優先順位（source preference）」の3つの主要な特性に基づいて評価します。なお、ソースの優先順位については、権威性のある最新のドキュメントを優先する仕組みになっています。

Kapaはこのベンチマークを用いて、従来のハイブリッド検索から高度なエージェント型検索（agentic retrievers）に至るまで、7つの異なる検索戦略をテストしました。その結果、精度、レイテンシ、コストの間に大きなトレードオフがあることが明らかになりました。最適化されたエージェント型検索エンジンである「Kapa Deep」は約5秒間で最高スコアの0.65を達成した一方、大規模言語モデルを使用したより単純な「agentic grep」手法は、コストが大幅に高く、速度も遅く、多くの場合で過剰なトークンを返してしまうことが判明しました。