エヌビディアは、複数のデバイス間でAI推論を分担できるPAIRのベータ版を公開しました。この技術はOllamaやLM Studioに対応しており、手元のPCから他のデバイスへ作業を割り振ることで、同時に実行できるタスク数を増やすことが可能です。利用可能なハードウェアには、GeForce RTX 20シリーズ以降のGPUに加え、Apple M4以降を搭載したMacやDGX Sparkが含まれます。同社は、将来的にAI推論の多くが、家庭や職場のデスクトップPCやスマートデバイスなどの分散型形態で行われるようになるとの見通しを示しています。
出典: PCやApple M4をつなぎAI推論に活用、エヌビディアPAIRが示す「分散型パーソナルAI」の未来 - Yahoo!ニュース(Google News: LM Studio)