Apple Machine Learningの研究者らは、同一の時間予算および同一の最先端LLMバックボーンにおいて、オープンソースの最先端ハーネスは、最小限のハーネスを用いたコーディングエージェントのベースラインのシングルセッションに対して何の優位性も提供しないことを発見しました。
「How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?」という論文の中で、著者であるKirill Brilliantov、Alejandro Hernández-Cano、およびEmmanuel Abbéは、現代の機械学習エンジニアリング（MLE）エージェントは、マルチエージェント・オーケストレーターや専用の検索サブエージェントといった精巧なメカニズム上にデプロイされることが多いものの、これらのレイヤーは特定のコーディングエージェントの設定においては冗長になる可能性があると述べています。研究者らは、パフォーマンスは主に基盤となるLLMバックボーンによって駆動されると主張しています。
この研究は、読み取り、書き込み、およびbashプリミティブを通じて実行環境に直接アクセスできるコーディングエージェントに焦点を当てました。研究結果は、強力なモデルの周囲に手作りのハーネスを精緻化することに費やされる労力は、現在のMLEベンチマークに対して低いリターンしか生まないことを示唆しています。
出典
- How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering? （Apple Machine Learning, 2026-10-01）
- arXiv