그로부터 거의 2년이 지났다.생성 인공 지능대중에게 널리 공개되었습니다.일부 모델큰 가능성을 보여줬어학업 및 전문 시험을 통과함으로써.

예를 들어, GPT-4는 90% 이상의 점수를 받았습니다.미국 변호사 시험 응시자.이러한 성공으로 인해 AI 시스템이 대학 수준의 평가를 통과할 수도 있다는 우려가 제기되었습니다.그러나 내최근 연구다른 그림을 그려 일부 사람들이 생각하는 학문적 강국이 아니라는 것을 보여줍니다.

나의 공부

생성 AI의 학문적 능력을 탐구하기 위해 학부 형법 결승전에서 어떻게 수행되는지 살펴보았습니다.시험울런공 대학교에서는 학생들이 학위를 취득해야 하는 핵심 과목 중 하나입니다.시험을 치르는 학생은 225명이었습니다.

시험은 3시간 동안 진행되었으며 2개의 섹션으로 구성되었습니다.먼저 학생들에게 평가를 요청했습니다.사례 연구범죄 행위와 성공적인 기소 가능성에 대해 설명합니다.두 번째에는 짧은 에세이와 짧은 에세이 세트가 포함되었습니다.답변질문.

시험 문제는 법적 지식을 포함한 다양한 기술을 평가했습니다.비판적 사고그리고 설득력 있는 주장을 구성하는 능력.

학생들은 답변을 위해 AI를 사용하는 것이 허용되지 않았으며 감독되는 환경에서 평가를 수행했습니다.

저는 다양한 AI 모델을 사용하여 시험 문제에 대한 10가지 고유한 답변을 만들었습니다.

프롬프트 없이 시험 문제를 AI 도구에 붙여넣기만 하면 5개의 논문이 생성되었습니다.나머지 5개에 대해서는 자세한 메시지와 관련 법적 내용을 제공하여 결과가 개선되는지 확인했습니다.

공식 시험 책자에 AI가 생성한 답안을 직접 작성하고 가짜 학생 이름과 번호를 사용했습니다.이러한 AI 생성 답변은 실제 학생의 시험 답변과 혼합되어 채점을 위해 5명의 교사에게 익명으로 제공되었습니다.

중요한 것은 채점할 때 튜터들은 AI가 시험 답안 10개를 생성했다는 사실을 몰랐다는 것입니다.

AI 논문의 성과는 어땠나요?

채점 후 튜터들과 인터뷰를 했을 때, 튜터들 중 누구도 AI가 생성한 답변이라고 의심하지 않았습니다.

이는 AI가 학생의 반응을 모방할 수 있는 잠재력과 교육자가 그러한 논문을 발견할 수 없음을 보여줍니다.

그러나 전체적으로 AI 논문은 인상적이지 않았습니다.

AI는 에세이형 질문에서는 좋은 성적을 냈지만, 심층적인 법률 분석이 필요한 복잡한 질문에서는 어려움을 겪었습니다.

이는 AI가 인간의 글쓰기 스타일을 모방할 수 있지만 복잡한 법적 추론에 필요한 미묘한 이해가 부족하다는 것을 의미합니다.

학생들의 시험 평균은 66%였습니다.

아무런 자극도 받지 않은 AI 논문은 평균적으로 4.3%의 학생만을 이겼습니다.2개는 간신히 통과했고(통과율은 50%) 3개는 실패했습니다.

프롬프트가 사용된 논문의 경우 평균 39.9%의 학생을 이겼습니다.이 논문 중 3개는 인상적이지 않았고 50%, 51.7%, 60%를 받았지만 2개는 상당히 좋은 성적을 거두었습니다.한 명은 73.3%, 다른 한 명은 78%를 기록했습니다.

이것은 무엇을 의미합니까?

이러한 결과는 교육 및 전문 표준 모두에 중요한 영향을 미칩니다.

과대 광고에도 불구하고, 생성 AI는 법률 시험과 같이 지적으로 까다로운 작업에서 인간을 대체하는 데 가깝지 않습니다.

내 연구에 따르면 AI는 도구처럼 보아야 하며 적절하게 사용하면 인간의 능력을 향상시킬 수 있습니다.

따라서 학교와 대학은 단순히 답을 내놓는 도구의 능력에 의존하기보다는 AI와 협력하고 그 결과를 비판적으로 분석할 수 있는 학생들의 기술을 개발하는 데 집중해야 합니다.

또한 AI와 학생 간의 협력을 가능하게 하려면 교육 및 평가에 대해 우리가 갖고 있는 전통적인 개념 중 일부를 다시 생각해야 할 수도 있습니다.

예를 들어, 학생이 AI 생성 작업을 프롬프트하고 확인하고 편집하는 경우 이는 학생의 원래 기여이며 여전히 학습의 귀중한 부분으로 간주되어야 한다는 점을 고려할 수 있습니다.

이 기사는 다음에서 재출판되었습니다.대화크리에이티브 커먼즈 라이센스에 따라.읽기원본 기사.