コードコメントが人間によるものか、AIによる生成物かを判定する分類器が公開されました。この分類器はブラウザ上で完全にローカルに動作し、入力されたテキストが外部に送信されることはありません。

開発者によれば、この分類器のバランス精度（balanced accuracy）は77%です。これは、人間が書いたコメントとAIが生成したコメントが同等の確率で出現すると仮定した場合に、判定が正解する割合を示しています。個別の判定結果には予測確率も表示され、その数値は確率として解釈できるようキャリブレーション（較正）されています。

ユーザーインターフェースでは、テキストのどの部分が判定に寄与したかをヒートマップ形式で視覚化できる機能が備わっています。黄色は人間らしい特徴、青色はAIらしい特徴を示しており、クリックすることで詳細な特徴量を確認することが可能です。なお、この分類器はコードコメントの検知を目的に学習されており、他の種類のAI生成テキストに対しては精度が低くなる可能性があります。

出典: