チューリッヒ工科大学、ETH および EPFL と提携して設立されたブルガリアの AI 研究機関 INSAIT、および ETH からスピンオフされた LatticeFlow AI の研究者が、汎用 AI (GPAI) モデルに関する EU AI 法の初めての包括的な技術解釈を提供しました。。これにより、EU が将来の AI モデルに課す法的要件を、具体的で測定可能、検証可能な技術要件に変換した最初の企業となります。

このような翻訳は、EU AI 法の今後の実施プロセスに非常に関連しています。実践的なアプローチモデル開発者は、将来の EU の法的要件にどの程度適合しているかを確認できます。規制上の高レベルの要件から実際に実行可能なベンチマークに至るまでのこのような変換はこれまで存在しなかったので、両方の重要な参照点として機能します。モデルトレーニング現在開発中の EU AI 法の実践規範も同様です。

研究者らは、ChatGPT、Llama、Claude、Mistral などの 12 の一般的な生成 AI モデルでアプローチをテストしました。大規模な言語モデル(LLM) は、非常に高機能で直感的に使用できるため、日常生活における人工知能 (AI) の人気の高まりと普及に大きく貢献してきました。

これらの AI モデルやその他の AI モデルの普及が進むにつれて、AI を責任を持って使用するための倫理的および法的要件も増加しています。たとえば、次のようなデリケートな質問が生じています。データ保護、プライバシー保護とAIモデルの透明性。モデルは「ブラック ボックス」ではなく、可能な限り説明可能で追跡可能な結果を​​提供する必要があります。

AI 法の施行は技術的に明確でなければなりません

さらに、それらは公正に機能し、誰に対しても差別をすべきではありません。このような背景を背景に、EU が 2024 年 3 月に採択した EU AI 法は、これらのテクノロジーに対する国民の信頼を最大化し、望ましくないリスクと副作用を最小限に抑えることを包括的に目指す世界初の AI 立法パッケージです。

「EU AI 法は、責任ある信頼できる AI の開発に向けた重要な一歩です」と、安全、信頼性、インテリジェント システム研究所の所長であり、INSAIT 創設者である ETH コンピュータ サイエンス教授のマーティン ヴェチェフ氏は述べています。EU AI 法の高レベルの法的要件の正確な技術的解釈。

「このため、法に準拠した AI モデルを開発することと、これらのモデルが実際にどの程度法律に準拠しているかを評価することの両方が困難になります。」

EU AI 法は、いわゆる汎用人工知能 (GPAI) のリスクを抑えるための明確な法的枠組みを定めています。これは、幅広いタスクを実行できる AI モデルを指します。ただし、この法律は、広範な法的要件を技術的にどのように解釈するかについては規定していません。2026年8月にハイリスクAIモデルの規制が施行されるまで、技術基準の策定が続けられる。

「ただし、AI法の施行が成功するかどうかは、AIモデルの具体的で正確な技術要件とコンプライアンスを中心としたベンチマークの開発にどれだけ成功するかに大きく依存します」とETH創設者のVechev氏とともにCEOを務めるペタル・ツァンコフ氏は語る。スピンオフの LatticeFlow AI は、信頼できる AI の実際の実装を扱います。

「安全性、説明可能性、トレーサビリティなどの重要な用語が（GP）AI モデルで何を意味するのかについて、標準的な解釈がなければ、モデル開発者にとって、AI モデルが AI 法に準拠して実行されるかどうかは不明のままです」と Robin Staab 氏は付け加えます。, コンピューター科学者であり、ヴェチェフの研究グループの博士課程の学生。

12の言語モデルのテストで欠点が判明

ETH 研究者によって開発された方法論は、議論の出発点と基礎を提供します。研究者らはまた、AI モデルが EU AI 法の想定される要件にどの程度準拠しているかを評価するために使用できる一連のベンチマークである、初の「コンプライアンス チェッカー」も開発しました。

現在進行中の具体化を考慮して、法的要件ヨーロッパでは、ETHの研究者らが研究結果を、勉強に投稿されましたarXivプレプリントサーバー。彼らはまた、その結果を EU AI 事務局に提供しました。EU AI 事務局は、AI 法の施行と遵守において重要な役割を果たしており、したがってモデルの評価にも重要な役割を果たしています。

専門家でなくてもほぼ理解できる研究では、研究者はまず重要な用語を明確にします。EU AI 法で指定されている 6 つの中心的な倫理原則 (人間の主体性、データ保護、透明性、多様性、無差別、公平性) から始まり、関連する 12 の技術的に明確な要件を導き出し、これらを 27 の最先端の要件に関連付けます。評価ベンチマーク。

重要なことに、彼らはまた、どの分野で AI モデルの具体的な技術チェックが十分に開発されていない、あるいは存在していないことさえ指摘しており、研究者、モデルプロバイダー、規制当局の両者が同様にこれらの分野を効果的な EU AI 法の施行に向けてさらに推進するよう奨励しています。

さらなる改善への原動力

研究者らは、ベンチマーク アプローチを 12 の著名な言語モデル (LLM) に適用しました。その結果、今日分析された言語モデルのどれも EU AI 法の要件を完全には満たしていないことが明らかになりました。「これらの大規模な言語モデルを比較した結果、特に堅牢性、多様性、公平性などの要件に関して欠点があることが明らかになりました」と Staab 氏は言います。

これは、近年、モデル開発者や研究者が、公平性や無差別などのより倫理的または社会的な要件よりも、主に一般的なモデルの機能とパフォーマンスに焦点を当てているという事実とも関係しています。

しかし、研究者らは、説明可能性などの AI の重要な概念さえも不明瞭であることを発見しました。実際には、複雑な AI モデルの結果がどのようにして得られたかを後で説明するための適切なツールが不足しています。概念的に完全に明確ではないものは、技術的に評価することもほとんど不可能です。

この調査により、著作権侵害に関連するものを含むさまざまな技術的要件が、現時点では確実に測定できないことが明らかになりました。シュターブ氏にとって、明らかなことが 1 つあります。「モデルの評価を機能だけに焦点を当てるだけでは十分ではない」ということです。

そうは言っても、研究者らは既存のモデルを評価するだけではありません。彼らにとって、EU AI 法は、法律が将来 AI モデルの開発と評価をどのように変えるかを示す最初の事例です。

「私たちは、私たちの取り組みが AI 法の施行を可能にし、モデルプロバイダーに対する実行可能な推奨事項を得るきっかけになると考えています」と Vechev 氏は言います。「しかし、私たちの方法論は EU AI 法を超えて、同等の他の法律にも適応できるからです」法律」。

「最終的には、能力などの技術的側面と、公平性や包括性などの倫理的側面の両方を考慮したLLMのバランスのとれた開発を奨励したいと考えています」とツァンコフ氏は付け加えた。

研究者らは、技術的な議論を開始するために、ベンチマーク ツール COMPL-AI を GitHub Web サイトで利用できるようにしています。そこでベンチマークの結果と方法を分析し、視覚化することができます。「私たちはベンチマークスイートを次のように公開しましたオープンソース産業界や科学界の他の研究者も参加できるようにするためです」とツァンコフ氏は言う。