Sakana AIは、層ローカルなダイナミクスのみを使用してディープニューラルネットワークを学習するために設計された、バックプロパゲーションに代わるローカルな手法であるPC-ALM (Augmented Lagrangian Predictive Coding) を発表しました。

標準的なディープラーニングは、同期された順伝播と逆伝播を必要とするバックプロパゲーションに依存しています。対照的に、PC-ALMはこれらのパスを、各層が隣接する層とのみ通信する層ローカルな動的システムに置き換えます。ラグランジュ乗数を組み込むことで、この手法は各層がPI (比例・積分) フィードバックコントローラとして機能することを可能にし、ネットワーク全体への監督クレジットの分配を実現します。

実験的な評価において、PC-ALMはMNISTやFashion-MNISTなどのデータセットを用い、1000 層までの残留MLPの学習に成功し、標準的なバックプロパゲーションにほぼ匹敵する性能を達成したとしています。従来の予測符号化 (PC) は、深くて狭いネットワークにおいて信号の減衰に苦しむことがよくありますが、PC-ALMは 推論 コストを増大させることなく効果的なクレジット伝播を維持します。この研究は、人工的なディープラーニングと、脳で観察される生物学的に妥当な分散型クレジット割り当てとの間の溝を埋めることを目的としています。

情報源: