ArtificialAnalysisは、各LLMモデルの知能指数と、ベンチマーク実行にかかるコストを算出・公開しています。同サイトの「Intelligence vs. cost」プロットは、特定の知能スコアを達成するために最も安価なモデルを示すパレート最適を可視化しています。
しかし、あるエンジニアがこのプロットに対し、3つの問題点を指摘しました。
一つ目は、コスト軸に常用対数(log scale)が使用されている点です。これにより、安価なモデル間の僅かな価格差は強調される一方で、高価なモデルとの圧倒的な価格差が視覚的に過小評価される恐れがあると述べています。
二つ目は、コストの算出基準にモデル開発者自身のAPI価格が使用されている点です。オープンウェイトのモデルについては、OpenRouterのような第三者プロバイダーを利用することで、より安価に利用できる場合があります。
三つ目は、ローカル環境で動作可能なモデルの扱いです。これらのモデルがデータセンターでの価格でプロットされているため、実用的なコスト感と乖離していると指摘しています。
一部の小規模モデルについては、電気代をベースとした実行コストが算出されています。
出典: LLMs: Intelligence vs. Cost(Hacker News Frontpage、2026-09-02)