AIの可視化とは、学習者がAIとどう作業したのかを記録しておく取り組みです。プロンプトも、AIの返答も、加えた修正も残ります。完成した文章が機械によるものかを推し量る必要がありません。
検出器を使えば、学習者と言い争うことになります。記録があれば、学習者と話し合えます。
作品がどう作られたかの記録です。採点に必要な3つは、どれも完成した文章の確率からは得られません。
どの一文が、いつ現れ、その前に何があったのか。採点には、文章がどう作られたかを知る必要があります。完成した文章から判断するのではなく、記録を読んで。
フィードバックが学びになるのは、学習者が先生と同じものを見られるときだけです。自分のセッションの記録は、一緒に話す材料になります。先生のものであり、学習者のものでもあります。
提出後に届くものは、もう成績です。学習者が行き詰まっている、あるいはAIに頼りすぎている。まだ声をかけられるうちに、それが見える。学びを変えるのは、そこです。
検出器に頼るのをやめた学校が選ぶのは、主に次の3つです。答える問いがそれぞれ違うので、組み合わせて使う先生が多くいます。
同じ道具の別バージョンではありません。問いが違い、次の一手がついてくるのは片方だけです。
| AI検出 | AIの可視化 | |
|---|---|---|
| 問い | この文章はAIが書いたものか？ | この学習者はどう進めたのか？ |
| 返ってくるもの | 完成した文章についての確率 | プロンプト、返答、修正が順番どおりに並んだ記録 |
| 見る場所 | 成果物を、事後に | 作業そのものを、進行中に |
| 次にできること | 学習者に問いただすか、見送るか | 教える、ルーブリックで採点する、より良い問いを立てる |
| 学習者が見るもの | 自分についての判定 | 自分の作業。そこから学べる |
| 保護者や審査の場で示されるもの | 信じてほしいと言われる数値 | やりとりそのもの。何を尋ね、何が返ってきたか |
| 苦手なところ | 第二言語で書く学習者に、最も厳しく出る | ワークスペース内の作業しか記録できない |
精度の数値の多くは、ベンダー自身の報告です。しかも、文書のどこまでを検出とみなすかで変わります。平均値は、あまり役に立ちません。大事なのは、誤りが誰に集中するかです。研究者が、英語を母語としない書き手のエッセイで、市販の検出器7種類を検証しました。すべてが、その文章をAI生成と誤判定しました。母語話者の文章は、正しく分類したうえでです。
原因は、悪意ではなく仕組みにあります。使える語彙が少ない書き手ほど、文章は予測しやすくなります。そして予測しやすさこそ、これらの道具が測っているものです。研究者は、この理由から教育現場での使用に注意を促しています。
第二言語で書く学習者が多い環境では、同じ人たちが繰り返し誤判定されます。可視化には、この問題がありません。文章から推し量るのではなく、実際に起きたことを読むからです。
Liang et al., Patterns (Cell Press), 2023（米国の中学2年生のエッセイとTOEFLのエッセイを比較）
AI検出器はこれを解決すると言って、解決しませんでした。記録に本当にできないことを、先に書いておきます。
学習者は別の場所で書いて貼り付けることができます。記録が示すのは、作業の跡がないまま現れたページです。取り上げる価値のある手がかりですが、証拠ではありません。
Cognityは学習者を不正と決めつけませんし、それに従って動くべきスコアも出しません。何が起きたかを示すだけです。判断するのは、あくまで先生です。
別のタブでの作業は記録に含まれません。Cognityが伝えられるのは、先生が出した課題の中で起きたこと、つまり採点している部分です。
正直に答えています。こちらに都合のいい答えにならないものも含めて。