AI에게 답 대신 힌트를 달라고 하라 — 답을 받아 연습한 학생은 시험에서 17% 낮았다
AI 챗봇이 답을 대신 내주면 연습 점수는 오르지만, 혼자 보는 시험 점수는 내려갈 수 있다. 고등학생 약 1,000명이 참여한 실험에서 제한 없는 AI로 연습한 학생은 AI 없이 공부한 학생보다 시험 점수가 17% 낮았다. AI를 빼기보다, 답 대신 힌트를 달라고 쓰는 방식부터 바꿔라.
연습 점수와 시험 점수가 반대로 움직였다
- 미국 펜실베이니아대 와튼스쿨의 함사 바스타니 교수 연구팀이 2023년 가을 학기에 실험했다. 튀르키예의 한 대형 고등학교에서 9~11학년 약 1,000명, 약 50개 학급이 참여했다.
- 학생들은 90분짜리 수학 연습 수업을 4번 들었다. 연구팀은 학생을 세 집단으로 나눴다. 첫째는 제한 없는 ChatGPT식 AI(GPT Base), 둘째는 힌트만 주는 AI(GPT Tutor), 셋째는 교과서와 노트만 쓰는 비교 집단이다.
- 연습할 때는 AI 쪽이 앞섰다. 비교 집단보다 GPT Base가 48%, GPT Tutor가 127% 점수가 높았다.
- AI 없이 시험을 보자 결과가 뒤집혔다. GPT Base는 비교 집단보다 17% 낮았고, GPT Tutor는 비교 집단과 통계적으로 차이가 없었다.
- 이 연구는 2025년 미국국립과학원회보(PNAS) 122권 26호에 실렸다.
점수가 떨어진 이유는 '목발'처럼 기대서다
- 연구팀은 GPT Base 학생들이 AI를 생각을 대신하는 도구로 썼다고 분석했다. 이 집단 학생 대부분은 정답을 달라고 한 뒤 AI의 답을 그대로 옮겨 적었는데, 그 답은 51%만 맞았다.
- 학생들은 이 손해를 스스로 알아채지 못했다. GPT Base 학생들은 남들만큼 배웠다고 느꼈지만, 실제 시험 점수는 더 낮았다.
힌트만 주게 하면 손해를 막는다
- GPT Tutor는 교사가 숨은 지시문을 미리 넣어 둔 AI다. 지시문은 바로 답하지 말고 단계별 힌트만 주라고 정했고, 교사는 AI가 틀린 답을 지어내지 않도록 정답 풀이도 함께 넣었다.
- 이렇게 쓰면 시험 점수가 떨어지지 않았다. 다만 비교 집단보다 더 오르지도 않았으니, 힌트형 AI는 '손해를 막는 장치'로 보는 편이 정확하다.
결과를 일반화하기 전에 볼 한계
- 실험은 한 나라 한 학교에서, 수학 한 과목으로, 이 기술이 막 나온 시기에 짧은 기간만 쟀다. 다른 과목이나 장기 학습에서는 결과가 다를 수 있다.
- 혼자 시험을 봐야 하는 학생이라면 새겨 둘 만하다. AI가 대신 푼 문제는 내 실력으로 남지 않을 수 있다.
오늘 10분 실천
- 오늘 저녁 막히는 문제 하나를 AI에 물을 때 이렇게 먼저 적어라. "정답과 풀이는 말하지 마. 내가 어디서 막혔는지 묻고, 다음 한 단계 힌트만 줘." 힌트를 받은 뒤 남은 풀이는 직접 끝까지 써 보라.
출처:
https://www.psypost.org/unrestricted-generative-ai-harms-high-school-math-learning-by-acting-as-a-crutch/
https://knowledge.wharton.upenn.edu/article/without-guardrails-generative-ai-can-harm-education
https://ideas.repec.org/a/nas/journl/v122y2025pe2422633122.html
https://papers.ssrn.com/abstract=4895486
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록