あれから約2年が経ちました生成人工知能広く一般に公開されました。一部のモデル素晴らしい約束を示した学術試験と専門試験に合格することによって。

たとえば、GPT-4 は 90% を超えるスコアを獲得しました。米国司法試験受験者。こうした成功により、AI システムも大学レベルの評価を難なく通過できるのではないかという懸念が生じました。ただし、私の最近の研究一部の人が思っているような学術大国ではないことを示しており、異なるイメージを描いています。

私の勉強

生成型 AI の学力を調査するために、学部の刑法の決勝戦で生成型 AI がどのような成績を収めたかを調べました。テストウロンゴン大学 - 学生が学位を取得するために合格する必要がある主要科目の 1 つです。225 人の学生が試験を受けました。

試験は 3 時間で、2 つのセクションに分かれていました。最初に学生に評価するよう求めました。ケーススタディ刑事犯罪と起訴が成功する可能性について。2番目には短いエッセイと一連の短編が含まれていました。答え質問。

試験問題では、法律知識を含むさまざまなスキルが評価されます。批判的思考そして説得力のある議論を構築する能力。

学生は回答に AI を使用することを許可されず、評価は監視された環境で行われました。

さまざまな AI モデルを使用して、試験問題に対する 10 個の異なる回答を作成しました。

プロンプトなしで試験問題を AI ツールに貼り付けるだけで、5 つの論文が生成されました。残りの 5 件については、結果が改善されるかどうかを確認するために、詳細なプロンプトと関連する法的内容を提供しました。

私は AI が生成した解答を公式の試験小冊子に手書きし、偽の生徒の名前と番号を使用しました。これらの AI が生成した解答は、実際の生徒の試験解答と混合され、採点のために 5 人の家庭教師に匿名で与えられました。

重要なのは、採点の際、講師は AI が試験解答のうち 10 問を生成したことを知らなかったということです。

AI 論文の成果はどうでしたか?

採点後に家庭教師にインタビューしたところ、回答が AI によって生成されたものであると疑う人は一人もいませんでした。

これは、AI が学生の反応を模倣する可能性と、教育者がそのような論文を発見できないことを示しています。

しかし全体として、AI に関する論文は印象に残るものではありませんでした。

AI はエッセイ形式の質問では好成績を収めましたが、詳細な法的分析を必要とする複雑な質問には苦戦しました。

これは、AI が人間の文体を模倣することはできても、複雑な法的推論に必要な微妙な理解を欠いていることを意味します。

学生の試験の平均点は 66% でした。

促すことのなかった AI 論文は、平均して学生の 4.3% しか勝てませんでした。2 名がかろうじて合格 (合格ラインは 50%)、3 名が不合格でした。

プロンプトが使用された論文に関しては、平均して、学生の 39.9% を上回りました。これらの論文のうち 3 つはあまり印象的ではなく、50%、51.7%、60% の評価を受けましたが、2 つは非常に良い結果をもたらしました。1 つは 73.3% のスコアを獲得し、もう 1 つは 78% のスコアを獲得しました。

これはどういう意味ですか？

これらの発見は、教育と職業上の基準の両方に重要な意味を持ちます。

誇大宣伝にもかかわらず、生成 AI は、この法律試験のような知的に要求されるタスクにおいて人間に取って代わるには程遠いです。

私の研究は、AI はもっとツールのように見るべきであり、適切に使用すれば人間の能力を向上させることができることを示唆しています。

したがって、学校や大学は、単純に答えを吐き出すツールの能力に依存するのではなく、AIと連携し、その出力を批判的に分析するための学生のスキルの開発に集中する必要がある。

さらに、AI と学生のコラボレーションを可能にするためには、教育と評価について私たちが持っている伝統的な概念のいくつかを再考する必要があるかもしれません。

たとえば、生徒が AI によって生成された作品をプロンプトし、検証し、編集するとき、それは生徒の本来の貢献であり、依然として学習の貴重な部分と見なされるべきであると考えるかもしれません。

この記事はから転載されています会話クリエイティブ・コモンズ・ライセンスに基づいて。読んでください元の記事。