AI에게 한국 수능을 풀게 했다, 결과는?

AI와 수능: 인공지능의 성적은?

인공지능이 사람의 능력을 압도하고 있다는 뉴스가 매일 넘쳐난다. 하지만 너무 걱정 마시라. 아직 인공지능이 인간을 넘보지 못하는 분야가 있다. 바로 한국의 대학수학능력시험(수능시험)이다. 이번 포스트에서는 AI가 한국 수능을 어떻게 풀었는지, 그 결과는 어땠는지 알아보도록 하겠다.

AI에게 한국 수능을 풀게 했다, 결과는? AI 로봇이 수능 시험지를 풀고 있는 모습. 이미지 생성 AI 미드저니가 그렸다. ⓒ미드저니 생성 이미지

수능 시험 풀이 실험 배경

〈시사IN〉은 최첨단 인공지능의 인지 추론 능력을 검증하기 위해 인공지능으로 하여금 수능시험을 직접 풀게 하는 실험을 해봤다. 테스트의 기준으로 삼은 것은 2023년 11월 16일 치러진 수능 기출문제이다. 시험을 치르는 ‘수험생’ 인공지능 모델은 GPT-4o와 클로드 3.5 소네트(Claude 3.5 Sonnet) 두 종류였다. 이 두 모델은 현존하는 인공지능 중 최고의 두 강자로 꼽힌다.

GPT-4o와 클로드 3.5 소네트의 능력

GPT-4o는 미국의 오픈AI 사가 2024년 5월 13일에 공개한 GPT4 시리즈의 최신 버전이다. 오픈AI는 GPT-4o의 사고능력 수준이 대학교 학부생 단계에 도달했다고 자랑해왔다.

반면 클로드 3.5 소네트는 미국의 앤스로픽 사가 개발한 모델로, 클로드 3.0 오푸스(Opus) 모델보다 더 나은 성능을 보인다. 챗봇 아레나의 코딩 개발 능력 순위에서 1301점으로 GPT-4o의 1296점보다 높은 점수를 받았다.

수능 시험 결과

두 인공지능 모델의 수능 시험 결과는 어떻게 나왔을까?

언어 영역

클로드는 국어·영어·일본어에서 모두 2등급을 받으며 언어 영역에 탁월한 모습을 보였다. 국어 성적은 100점 만점에 82점으로 상위 9% 안에 드는 성적이었다. 영어도 100점 만점에 87점으로 준수했다.

반면 GPT-4o는 국어 59점, 영어 79점으로 클로드보다 낮은 성적을 받았다. 하지만 한국사 영역에서는 2등급을 받았다.

수리와 과학 영역

수학에서는 클로드가 100점 만점에 34점을 받아 6등급에 머물렀다. 반면 GPT-4o는 100점 만점에 66점을 받아 상위 34%에 해당하는 성적을 기록했다. 과학탐구와 사회탐구 영역에서도 두 모델 모두 평균 이하의 성적을 보였다.

AI 시험 성적 분석

클로드의 언어 성적

클로드의 언어 성적이 우수한 이유는 클로드가 작년 수능 기출문제를 학습했을 가능성이 있기 때문이다. 앤스로픽의 클로드 3.5 소네트는 2024년 4월까지의 데이터를 학습했으므로, 2023년 수능 기출문제를 학습했을 가능성이 있다.

GPT-4o의 성적 분석

GPT-4o는 오픈AI의 발표에 따르면 2023년 10월까지의 지식만 학습했기 때문에 지난해 수능 기출문제를 보지 않은 상태로 문제를 풀었다. 이는 더 공정한 시험 환경이었음을 의미한다.

수학과 과학 성적의 차이

GPT-4o는 수학에서 우수한 성적을 보였지만, 클로드는 낮은 성적을 기록했다. 이는 두 모델의 특성과 학습 데이터의 차이에 기인할 수 있다.

인공지능과 대학 입시

대입 컨설팅 결과

입시 전문가인 김호진 토마스아카데미 원장은 두 인공지능의 성적을 바탕으로 대학 입시 상담을 진행했다. 클로드는 경기권 하위, 충청권 중하위, 지방권 중위권 대학에 지원 가능할 것으로 예상되었고, GPT-4o는 재수를 권유받았다.

인공지능의 발전 가능성

오픈AI의 최고경영자 샘 알트먼은 현재 GPT-5의 학습이 진행 중이라고 밝혔다. 새로운 모델이 출시되면 기존 모델보다 성능이 향상될 것이며, AI가 수능에서 더 좋은 성적을 받을 가능성이 있다.

맺음말

이번 실험을 통해 AI가 한국 수능에서 어떤 성적을 받는지 확인할 수 있었다. 클로드는 언어 영역에서 우수한 성적을 보였으나 수학과 과학에서는 부족함을 드러냈다. GPT-4o는 상대적으로 공정한 시험 환경에서 좋은 성적을 기록했으나 전반적으로 클로드보다 낮은 성적을 보였다.

앞으로 AI의 발전과 함께 인공지능이 수능에서 높은 성적을 받는 날이 올 것이다. 하지만 그날이 와도 우리 인류가 패배했다는 식으로 과대 해석할 필요는 없다. 오히려 인공지능도 다 푸는 수능 문제 따위에 왜 그리 집착하느냐고 반문해야 할지도 모른다.