AIエージェント向けのシェル出力圧縮ツール「RTK (Rust Token Killer)」は、ターミナルの出力をフィルタリングして圧縮することで、AIが消費するトークン量を削減すると謳っています。しかし、JetBrainsによるベンチマーク調査の結果、RTKの導入によってコストが削減されることは確認されませんでした。

JetBrainsがClaude Codeなどのツールを用いて検証したところ、推論負荷が低い設定では、RTKを使用した場合のコストが中央値で7.6%増加したことが示されました。一方で、推論負荷が高い設定ではコストの変化に明確な差は見られませんでした。また、タスクの成功率についても、RTKの使用によってわずかに低下する傾向が観測されました。

この結果の要因として、RTKが算出する「節約量」と、実際の請求金額の乖離が指摘されています。RTKはコマンドの生出力とフィルタリング後の出力の差分を計算していますが、実際のAIエージェントはファイル読み込みなどの他のツールを使用してコンテキストを取得するため、RTKの圧縮対象となるBash出力はセッション全体の入力トークンのうち、わずか数パーセント程度に過ぎないことが判明しました。

調査では、RTKの自己申告による節約量は、実際には使用されないはずの巨大な出力を基準に計算されているケースがあることも示されています。検証の結果、コンテキスト圧縮ツールの効果を評価する際は、ツールが示す差分ではなく、実際のタスク実行に伴うコストを直接測定することが重要であると結論付けています。

出典: