NVIDIAがKumo Tabularをリリース：効率的な表形式データ予測のためのオープンな基盤モデル

Kumo Tabularは、列、行、およびインコンテキストのアテンションメカニズムを利用して、表形式の構造に特別に最適化されたTransformerアーキテクチャに基づいて構築されています。数値データとカテゴリデータの両方を扱うことができ、テキスト、画像、またはタイムスタンプを管理するための組み込みのプリプロセッシング機能を備えています。テーブルのサイズが大きくなっても精度を維持するために、このモデルは、キーの数の対数に基づいてアテンションをスケーリングする「Length-aware Attention Temperature」を実装しています。

このモデルは、因果構造モデル（SCM）を通じて生成された人工データのみで事前学習されており、堅牢性を確保するために、多様で不完全な数百万ものテーブルが生成されました。Kumo Tabularには28Mから215Mのパラメータ数を持つ3つのサイズが用意されています。TabArena、BeyondArena、TALENT、ScoringBenchを含む複数のベンチマークにおける評価において、Kumo Tabularはトップランクを獲得し、精度と効率のパレート最適（Pareto front）において新たな最先端（SOTA）を確立しました。