ディープラーニングは、人間の脳を模倣した人工ニューラルネットワークを使用して情報を処理するようにコンピューターに教えることにより、社会を変革する人工知能の一種です。現在では、顔認識、自動運転車、さらには囲碁などの複雑なゲームのプレイにも使用されています。一般に、深層学習の成功は、トレーニング目的でラベル付き画像の大規模なデータセットを使用するかどうかにかかっています。

ラベル付き画像の潜在的な宝の山は、科学文献、毎年100万以上の記事が公開されています。ほとんどの場合、テキストに多くの図が織り込まれています。現在までのところ、これらの数字は満足できるものではありません。ディープラーニングモデル。これは、その複雑なレイアウトが原因の 1 つです。通常、各図には複数の埋め込み画像、グラフ、イラストが含まれています。また、特定の内容に一致する画像を文献から検索するための適切な手段も不足していました。

この課題に対処するために、米国エネルギー省 (DOE) のアルゴンヌ国立研究所とノースウェスタン大学の研究者は、EXSCLAIM! を作成しました。ソフトウェアツール。この名前は、画像の抽出、分離、およびキャプションベースの自然言語注釈を表します。

調査結果は次のとおりです出版された日記でパターン。

「によって生成された画像電子顕微鏡「10億分の1メートルまでの単位は、材料科学文献において最も重要な数値の1つです」とDOE科学局のユーザー施設であるアルゴンヌのナノスケール材料センターの科学者マリア・チャン氏は語った。さまざまな分野での新素材の開発。EXSCLAIM で私たちが目指すのは！これらの画像データの未開発の可能性を解き放つことです。」

EXSCLAIM の特徴は何ですか!別の点は、ChatGPT や DALL-E などの生成 AI ツールでプロンプトを使用する方法と同様に、クエリからデータセットへのアプローチに重点を置いている点です。したがって、画像の内容を分類し、倍率を認識するため、図から非常に特殊な内容を含む個々の画像を抽出することができます。その後、各画像に説明的なラベルを作成できます。この革新的なソフトウェアツールナノスケールで新材料を研究する科学者にとって貴重な資産となることが期待されています。

「既存の手法では複合レイアウトの問題に苦戦することがよくありますが、EXSCLAIM! ではこの問題を克服するために新しいアプローチを採用しています」と、主著者で元アルゴンヌ大学大学院生のエリック・シュウェンカー氏は述べています。「当社のソフトウェアは、鮮明な画像境界を識別するのに効果的であり、不規則な画像配置を捕捉することに優れています。」叫んでください！

は、280,000 を超えるナノ構造画像の自己ラベル付き電子顕微鏡データセットを構築することで、その有効性をすでに実証しています。当初は材料顕微鏡画像を中心に開発されましたが、EXSCLAIM!画像を含む大量の論文を作成するあらゆる科学分野に適応できます。したがって、このソフトウェアは、さまざまな分野にわたる公開された科学画像の使用に革命を起こすことを約束します。

「研究者は現在、複雑な視覚情報の理解を進めるための強力な画像マイニング ツールを手に入れています」とチャン氏は述べた。