セキュリティ カメラがビデオを撮影するだけでなく、何が起こっているかをリアルタイムで把握でき、日常的な活動と潜在的に危険な行為を区別できたらどうなるでしょうか?それが、バージニア大学工学部応用科学部の研究者らによって、最新の画期的な進歩によって形作られている未来です。それは、前例のない精度とインテリジェンスでビデオ映像内の人間の行動を検出できる AI 駆動のインテリジェント ビデオ アナライザーです。

研究論文は、出版された日記でパターン分析とマシンインテリジェンスに関する IEEE トランザクション。

Semantic and Motion-Aware Spatiotemporal Transformer Network (SMAST) と呼ばれるこのシステムは、さまざまな社会的利益を約束します。監視システムそして改善する公安ヘルスケアにおけるより高度なモーション追跡を可能にし、自動運転車が複雑な環境を移動する方法を改良することです。

「この AI テクノロジーは、最も要求の厳しい環境の一部でリアルタイムのアクション検出への扉を開きます」と、電気コンピュータ工学科の教授であり、このプロジェクトの主任研究者であるスコット T. アクトン教授は述べています。「これは、事故を防止し、診断を改善し、さらには命を救うことにもつながる一種の進歩です。」

複雑なビデオ分析のための AI 主導のイノベーション

それで、それはどのように機能するのでしょうか？SMAST の中核には人工知能が搭載されています。このシステムは、人間の複雑な行動を検出して理解するために 2 つの主要なコンポーネントに依存しています。1 つ目は、複数の特徴の選択的注意モデルです。これは、AI が不必要な詳細を無視しながら、シーンの最も重要な部分 (人や物体など) に焦点を当てるのに役立ちます。これにより、システムは、誰かが腕を動かすだけでなく、ボールを投げていることを認識するなど、何が起こっているかをより正確に識別できるようになります。

2 番目の重要な機能は、動きを認識する 2D 位置エンコード アルゴリズムで、AI が時間の経過とともに物体がどのように移動するかを追跡するのに役立ちます。人々が絶えず位置を変えるビデオを見ることを想像してください。このツールは、AI がそれらの動きを記憶し、それらが互いにどのように関係しているかを理解するのに役立ちます。これらの機能を統合することで、SMAST は複雑なアクションをリアルタイムで正確に認識できるようになり、監視などの一か八かのシナリオでより効果的になります。健康管理診断とか自動運転とか。

SMAST は、機械が人間の行動を検出および解釈する方法を再定義します。現在のシステムは、混沌とした未編集の連続したデータに苦戦しています。ビデオ映像、多くの場合、出来事のコンテキストが失われます。しかし、SMAST の革新的な設計により、データから学習して適応できる AI コンポーネントを活用して、人と物体の動的な関係を驚くべき精度で捉えることができます。

アクション検出テクノロジーの新たな標準を確立する

この技術的飛躍は、AI システムが道路を横断するランナー、正確な処置を行う医師、さらには混雑した空間での安全上の脅威などの行動を識別できることを意味します。SMAST はすでに、AVA、UCF101-24、EPIC-Kitchens などの主要な学術ベンチマーク全体でトップクラスのソリューションを上回っており、精度と効率の新たな基準を確立しています。

「社会的影響アクトンの研究室でこのプロジェクトに取り組んでいる博士研究員マシュー・コーバン氏は、「このAI技術がどのように業界を変革し、ビデオベースのシステムをよりインテリジェントにし、リアルタイムで理解できるようにするのかを楽しみにしている」と語った。。」