AI가 답을 통째로 주면, 연습선 48% 앞서도 시험선 17% 뒤처졌다 — 고교생 1,000명 실험
AI에게 풀이를 통째로 받아 공부하면 그 순간엔 잘하는 것 같지만, 정작 AI가 없는 시험장에선 오히려 손해를 본다. 튀르키예 고등학생 약 1,000명을 대상으로 한 수학 실험(Bastani 외, 2024~2025)이 이 함정을 숫자로 보여준다.
- 세 그룹으로 나눴다. (1)ChatGPT-4와 비슷한 일반형 'GPT Base', (2)답을 바로 주지 않고 힌트로 유도하는 'GPT Tutor', (3)교과서·필기만 쓰는 대조군.
- 연습 문제를 풀 때는 GPT Base 그룹이 대조군보다 약 48% 더 잘 풀었다. AI가 옆에서 답을 주니 당연한 결과다.
- 그런데 AI를 치우고 본 시험에서는 GPT Base 그룹이 대조군보다 약 17% 낮은 점수를 받았다. 연습 때의 우세가 실력으로 남지 않은 것이다.
- 반면 힌트만 주도록 안전장치를 건 GPT Tutor 그룹은 시험 점수가 대조군과 비슷했다. 손해가 거의 사라진 셈이다. 같은 AI라도 '답 제공'이냐 '사고 유도'냐가 결과를 갈랐다.
왜 이런 일이 생기나. 답을 받아 읽으면 '이해했다'는 느낌은 들지만, 스스로 막힌 지점을 헤쳐 나가는 과정(인출·시행착오)이 빠진다. 그 과정이 기억과 응용력을 만드는데, AI가 그걸 대신해 버리면 시험장에서 꺼내 쓸 게 없다.
그래서 공부용으로 AI를 쓸 땐 요청 방식을 바꾸는 게 핵심이다. '이 문제 풀어줘'가 아니라 '어디서 막혔는지 볼 테니 다음 한 단계 힌트만 줘', '내 풀이가 왜 틀렸는지 질문으로 되물어줘'처럼 답을 미루게 만든다. 코딩·어학 학습도 같다. 정답 코드를 통째로 붙여넣기 전에 오류의 원인부터 스스로 짚어보고, AI에겐 방향만 확인받는 편이 실력으로 남는다.
오늘 10분 실천: 평소 같으면 AI에게 통째로 풀게 했을 문제 1개를 골라, '힌트 한 줄'만 요청한다. 힌트로 직접 끝까지 풀고, 그다음 AI 창을 닫은 채 같은 문제를 처음부터 다시 풀어 막힘 없이 되는지 확인한다.
출처:
https://knowledge.wharton.upenn.edu/article/without-guardrails-generative-ai-can-harm-education/
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4895486
https://www.pnas.org/doi/10.1073/pnas.2422633122
https://pubmed.ncbi.nlm.nih.gov/40560616/
https://hamsabastani.github.io/education_llm.pdf
댓글 (0)
아직 댓글이 없습니다.
댓글을 쓰려면 입장하세요.
← 목록