Apple のエンジニア チームは、2D 画像の深度をマッピングできる Depth Pro と呼ばれる AI ベースのモデルを開発しました。チームは次のように書きました紙アプリとその機能について説明し、arXivプレプリントサーバー。彼らはまた、会社のサイトにアプリに関する発表を投稿しました。機械学習研究ページ。

人間や他の動物が奥行きを認識できるのは、脳が各目から 1 つずつ、計 2 つの画像を取得し、それらの差を利用して画像のどの部分が近く、どの部分が遠いかを判断できるためです。いくつかのビデオカメラ3Dビデオを作成するために同様のことを行ったことがあります。

スマートフォンでは、写真撮影とビデオ作成を 1 台のカメラのみに依存しているため、ある程度の奥行きを追加できるさまざまなハードウェアとソフトウェアが追加されています。この新しい取り組みでは、Apple のエンジニアは次の方法を使用して深度マップ全体を作成しました。データカメラ固有のメタデータの使用に頼ることなく、元の画像からデータを抽出します。

深度マップは、元の画像内のすべてのピクセルを使用して作成されるマップです。マップ上の各データ ポイントは 1 つのピクセルを表し、そのピクセルによって表される画像の部分と、画像化されたオブジェクトの対応する部分との間の距離に対応します。

このようなマップを使用すると、平面的な画像に別の次元を追加して、3D 効果を与えることができます。深度マップを作成すると、標準的なスマートフォン技術を使用して作成されたものよりも鮮明な 3D 効果を生成できるとチームは示唆しています。

Apple のチームは発表の中で、アプリがモデル標準的な GPU を搭載したコンピューターで実行すると、わずか 0.3 秒で深度マップを生成できます。また、3D 効果の生成に通常必要となる種類のカメラ データを使用せずに深度マップを生成できます。

これほどスピーディに動作するモデルを作成することで、Apple は一眼カメラからリアルタイムで 3D 画像を作成する扉を開きました。そして、これはロボットやその他の分野に大きな影響を与える可能性があると研究チームは指摘しています。リアルタイム自動運転車で使用されるマッピング アプリケーションなど。

© 2024 サイエンス X ネットワーク