AI로 공부할 땐 답 말고 힌트만 받아라 — 고교생 약 1,000명 실험에서 답을 받아 쓴 쪽은 시험 점수가 17% 낮았다
AI 튜터로 공부할 때는 정답이 아니라 힌트만 받아야 실력이 남는다. 고교생 약 1,000명이 참여한 현장 실험에서 이 차이가 드러났다. 연습 때 AI 답을 그대로 받아 쓴 학생들은 AI 없이 치른 시험에서 AI를 전혀 쓰지 않은 학생보다 점수가 17% 낮았다.
누가, 어떻게 실험했나
- 미국 펜실베이니아대 와튼스쿨의 함사 바스타니(Hamsa Bastani) 연구팀이 튀르키예 고등학생 약 1,000명의 수학 수업에서 실험했다. 결과는 2025년 미국국립과학원회보(PNAS)에 실렸다.
- 연구팀은 학생을 세 그룹으로 나눴다. 첫째 그룹은 ChatGPT와 비슷한 GPT-4 기반 일반 채팅창(GPT Base)을 썼다. 둘째 그룹은 교사 의견을 반영해 답 대신 힌트를 주도록 만든 튜터(GPT Tutor)를 썼고, 셋째 그룹은 교과서와 노트만 썼다.
연습 점수와 시험 점수가 거꾸로 갔다
- 연습 시간에는 AI를 쓴 두 그룹 모두 점수가 올랐다. 교과서 그룹과 비교해 일반 채팅창 그룹은 48%, 힌트형 튜터 그룹은 127% 높았다.
- AI를 치우고 시험을 보자 결과가 뒤집혔다. 일반 채팅창 그룹은 교과서 그룹보다 17% 낮은 점수를 받았고, 힌트형 튜터 그룹은 교과서 그룹과 비슷한 점수를 받았다.
- 연구팀은 학생들이 AI를 '목발'처럼 짚고 문제를 넘겼다고 해석했다. 스스로 풀어 보는 과정을 건너뛰었으니 기초 실력이 쌓이지 않았고, 혼자 푸는 시험에서 그 차이가 드러났다.
"많이 배웠다"는 느낌은 믿기 어렵다
- AI를 쓴 학생들은 자기가 얼마나 배웠는지 실제보다 낙관적으로 평가했다. 성적 상위권 학생도 마찬가지였다.
- 연습 문제를 술술 풀었다는 느낌만으로 실력을 판단하면 안 된다. AI 없이 다시 풀어 봐야 진짜 실력을 확인할 수 있다.
결과를 어디까지 일반화할 수 있나
- 이 실험은 튀르키예 고등학교 수학 수업에서만 진행했다. 어학이나 코딩 공부에서도 같은 수치가 나온다고 단정하기는 어렵다.
- 다만 같은 GPT-4라도 정답을 주느냐, 힌트를 주느냐에 따라 시험 결과가 갈렸다. 적어도 이 실험에서는 어떤 AI를 쓰는지보다 어떻게 쓰는지가 결과를 바꿨다.
오늘 10분 실천
- 자주 쓰는 AI 채팅의 사용자 지침(커스텀 지시)에 다음 문장을 넣어 두자. "공부 질문에는 정답을 바로 알려주지 말고, 내가 먼저 풀이를 쓰면 틀린 지점만 짚고 다음 단계 힌트를 하나씩 줘."
- 그다음 오늘 공부할 문제 하나를 이 방식으로 풀어 보자. 풀이를 끝냈으면 화면을 닫고 같은 문제를 처음부터 다시 풀어 본다.
오늘 AI에게 묻기 전에, 내 풀이를 한 줄이라도 먼저 써 두자.
출처:
https://knowledge.wharton.upenn.edu/article/without-guardrails-generative-ai-can-harm-education
https://econpapers.repec.org/RePEc:nas:journl:v:122:y:2025:p:e2422633122
https://papers.ssrn.com/abstract=4895486
https://chibe.upenn.edu/publications/generative-ai-without-guardrails-can-harm-learning-evidence-from-high-school-mathematics
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록