私たちのスマート デバイスは、私たちから音声コマンドを受け取り、心拍数を確認し、睡眠を追跡し、テキストを翻訳し、リマインダーを送信し、写真や映画をキャプチャし、大陸を離れた家族や友人と話すことを可能にします。

次に、これらの機能をターボチャージャーすることを想像してください。学術的な質問や個人的な質問について、自然言語で徹底的に会話を交わします。私たちの運営バイタルサインを通してグローバルデータベース差し迫った健康上の問題を確認するため。2 人以上の話者間で包括的なリアルタイム翻訳を提供するために大規模なデータベースを詰め込むさまざまな言語;GPS ソフトウェアと会話すると、ルート沿いで人気の最高のハンバーガー、映画、ホテル、人間観察スポットなどの詳細が得られます。

魅惑的な力を利用する大規模な言語モデルそして自然言語処理、私たちは、私たちと日常生活でますます依存するテクノロジーとの間のコミュニケーションにおける驚異的な進歩を目の当たりにしてきました。

しかし、AI と私たちのことに関しては、障害がいくつかあります。ポータブルデバイス。Appleの研究者らは、これについて何らかの措置を講じる用意があると述べている。

問題はメモリです。大規模な言語モデルには大量の言語モデルが必要です。モデルでは潜在的に数千億のパラメータを保存する必要があるため、8GB のメモリしか搭載していない Apple の iPhone 15 などの一般的に使用されているスマートフォンでは、そのタスクには遠く及ばないでしょう。

プレプリントサーバーにアップロードされた論文内arXivAppleは12月12日、スマートデバイスで強力なAIシステムを実行できるようにするフラッシュメモリとDRAM間のデータ転送を利用する方法を開発したと発表した。

研究者らによると、彼らのプロセスはデバイスのDRAM容量の2倍のサイズのAIプログラムを実行でき、CPU動作を最大500％高速化できるという。彼らによれば、GPU プロセスは現在のアプローチの最大 25 倍高速化できるという。

「私たちの手法には、フラッシュメモリの動作と調和する推論コストモデルの構築が含まれており、フラッシュから転送されるデータ量の削減と、より大きく連続したチャンクでのデータの読み取りという2つの重要な領域での最適化を導きます」と研究者らは論文で述べている。「瞬時の LLM: 限られたメモリでの効率的な大規模言語モデル推論」というタイトルの論文。

彼らが使用したテクニックは次の 2 つです。

1. ウィンドウ処理。フラッシュ メモリと RAM の間で交換する必要があるデータ量を削減します。これは、最近の計算結果を再利用し、IO リクエストを最小限に抑え、エネルギーと時間を節約することによって実現されます。
2. 行列バンドル。より大きなデータ チャンクを一度にダイジェストすることで効率が向上します。フラッシュメモリ。

研究者らによれば、この 2 つのプロセスは「総合的にデータ負荷の大幅な削減とメモリ使用効率の向上に貢献する」という。

さらに、「このブレークスルーは、リソースが限られた環境に高度な LLM を導入し、その適用性とアクセシビリティを拡大する場合に特に重要です。」と付け加えました。

最近の別の進歩として、Apple は、単一のレンズからキャプチャしたわずか数秒分のビデオからアニメーション アバターを作成できる HUGS と呼ばれるプログラムを設計したと発表しました。現在のアバター作成プログラムでは、複数のカメラ ビューが必要です。レポート「HUGS: Human Gaussian Splats」がアップロードされました。arXiv11月29日。

Apple によれば、彼らのプログラムは、わずか 30 分でリアルに踊るアバターを作成でき、現在一般的なアプローチで必要な 2 日よりもはるかに短いという。

© 2023 サイエンス X ネットワーク