AI 가시화는 학생이 AI를 어떻게 썼는지 기록하는 방식입니다. 프롬프트부터 AI의 답, 고친 문장까지 모든 과정이 남아, 완성된 글을 AI가 썼는지 추측할 필요가 없습니다.
점수를 보면 학생과 다투게 되고, 기록을 보면 학생과 대화하게 됩니다.
과제가 어떻게 만들어졌는지 담긴 기록입니다. 평가에 꼭 필요하지만 완성된 글의 확률 점수로는 알 수 없는 세 가지를 볼 수 있어요.
어떤 문장이 언제, 무엇에 이어 들어왔는지 확인해보세요. 글이 만들어진 과정은 완성본에서 짐작할 수 없고, 기록에서 읽을 수 있어요.
선생님이 본 것을 학생도 볼 수 있어야 피드백이 배움으로 이어져요. 자기 과정이 담긴 기록을 함께 보며 이야기해보세요.
제출 뒤에 보면 평가밖에 할 수 없어요. 수업 중에 막힌 학생, AI에만 기대는 학생을 바로 보고 말을 건네보세요. 배움은 그 순간에 달라집니다.
탐지기에 기대지 않기로 한 학교는 보통 세 가지 방법 중 하나를 씁니다. 답해주는 질문이 서로 달라서, 함께 쓰는 선생님이 많아요.
같은 일을 하는 두 도구가 아닙니다. 묻는 질문이 다르고, 답 다음에 할 일이 이어지는 쪽은 하나뿐입니다.
| AI 탐지 | AI 가시화 | |
|---|---|---|
| 묻는 질문 | 이 글, AI가 썼을까? | 이 학생, 어떻게 썼을까? |
| 받는 결과 | 완성된 글이 AI로 작성됐을 확률 | 프롬프트, AI의 답, 고친 문장이 순서대로 담긴 기록 |
| 보는 대상 | 제출된 결과물을, 끝난 뒤에 | 작업 과정을, 진행되는 동안 |
| 다음에 할 수 있는 일 | 학생에게 문제를 제기하거나, 넘어가거나 | 가르치기, 루브릭으로 평가하기, 더 나은 질문 던지기 |
| 학생이 받는 것 | 자신에 대한 판정 | 다시 보고 배울 수 있는 자기 과정 |
| 학부모나 심의 위원회가 보는 것 | 믿어달라는 숫자 하나 | 무엇을 묻고 무엇을 받았는지, 대화 그대로 |
| 한계 | 모국어가 아닌 언어로 쓴 글에 가장 취약 | 워크스페이스 밖의 작업은 기록되지 않음 |
정확도 수치는 대부분 업체가 직접 발표한 것이고, 문서의 어디까지를 탐지로 볼지에 따라 달라집니다. 평균 정확도보다 중요한 건 오판이 누구에게 몰리는지입니다. 연구진이 상용 AI 탐지기 7종으로 영어가 모국어가 아닌 사람의 에세이를 검사했더니, 모든 탐지기가 AI가 쓴 글로 잘못 판정했습니다. 같은 탐지기가 원어민의 글은 정확히 판정했습니다.
악의가 아니라 작동 방식의 문제입니다. 어휘가 적은 글일수록 예측하기 쉽고, 탐지기는 바로 그 예측 가능성을 잽니다. 연구진도 교육 현장에서는 이런 탐지기를 쓰지 말 것을 권고했습니다.
영어로 과제를 쓰는 수업이나 국제학교라면, 같은 학생이 계속 오판을 받습니다. AI 가시화에는 이런 오판이 없습니다. 글을 보고 추정하는 대신, 실제로 일어난 과정을 그대로 읽습니다.
Liang et al., Patterns (Cell Press), 2023 (미국 중학교 2학년 글과 TOEFL 답안 비교)
AI 탐지기는 답을 주겠다고 했지만, 주지 못했습니다. 기록이 할 수 없는 일도 솔직하게 적어둡니다.
학생이 다른 곳에서 쓴 글을 붙여 넣을 수도 있습니다. 이때 기록에는 작업 과정 없이 한 번에 들어온 글이 남습니다. 짚어볼 만한 신호이지만, 증거는 아닙니다.
Cognity는 학생을 부정행위자로 판정하지 않고, 조치의 근거로 삼을 점수도 내지 않습니다. 무슨 일이 있었는지 보여줄 뿐, 판단은 늘 선생님에게 맡깁니다.
다른 탭에서 한 작업은 기록되지 않습니다. 대신 선생님이 낸 과제 안에서 일어난 일, 평가할 바로 그 부분은 모두 남습니다.
우리에게 불리한 답까지, 솔직하게 답했습니다.