多くの学科がどちらかを選び、その代償を引き受けています。
検出器のスコア、証明できない告発、そして受けて立つ異議申し立て。
仕上げは、モデルがいちばん得意です。だから、よく読める文章ほど何も教えてくれません。
どちらも「AIを使ったか」という、一つの問いへの答えです。たとえ確かな答えが出ても、誰が学んだのかはわかりません。
AI検出器の精度の数値は、多くがベンダー自身の報告です。しかも、文書のどこまでを検出とみなすかで変わります。問うべきは、誤りが誰に集中するかです。研究者が、英語を母語としない書き手のエッセイで、市販の検出器7種類を検証しました。すべてが、その文章をAI生成と誤判定しました。母語話者の文章は、正しく分類したうえでです。
留学生の多い大学では、この誤りが同じ学生に、学期ごとに積み重なります。確率のスコアへの異議申し立てを、公平に裁くのがいちばん難しい場所でもあります。禁止の代償が何であれ、その負担は特定の学生に偏ります。
Liang et al., Patterns (Cell Press), 2023（米国の中学2年生のエッセイとTOEFLのエッセイを比較）
完成した文書は、どう作られたかを覚えていません。「どう」に答えられないように見えたのは、それだけが理由です。文書しか集めていなければ、の話です。
ならば、作られていく過程を集めればいい。Cognityは、学生が文章を書くワークスペースそのものです。プロンプト、返答、修正が、起きた順に残ります。
ルーブリックの一行にした「どう」が、これです。理解度の代わりの指標ではありません。理解は、作業のしかたに表れます。学生の隣に座って書くところを見ていたら、目にするはずのものです。
課題を的確に言葉にできる学生は、難しいところをもう越えています。曖昧なプロンプトと的を射たプロンプトは、理解の深さが違います。どちらも、一字一句記録に残ります。
記録でいちばん役に立つのは、たいてい却下の場面です。自信ありげな誤りに、学生が押し返した瞬間。これは装えません。分野を知らなければ、できないことです。
主張が下書きに入る前に、出典で確かめたのか。そのまま信じたのか。記録でわかります。学術的な判断力とは、ほぼこの区別のことです。
構成がどこから来たのかが、記録に出ます。学生が方向を決めた箇所と、ついていった箇所。自分で舵を取った論旨は、受け取った論旨とは読み味が違います。
AIの出力との、逐語のn-gram一致で測ります。数値は文書全体の確率ではなく、読んで確かめられる特定の文を指します。判決ではなく、対話のための根拠です。
AIを上手に使うことは、能力の抜け道ではありません。それ自体が、一つの能力になりつつあります。モデルが手伝える形に、問題を整える。もっともらしい誤答を、見抜く。仕事のどこを自分が持つべきか、決める。企業はすでにここを見ています。けれど、それを教わって卒業する学生はほとんどいません。多くは、練習してはいけないと言われてきたからです。
過程が見えれば、これは教えられます。課題ごとにAIの役割を決め、良い使い方を学生に示し、評価できます。学生が一人で、我流で、ルールに背きながら覚えるのを待つ必要はありません。
学生は、別のツールで書いて貼り付けられます。その場合、記録に残るのは作業の跡がない提出物です。取り上げる価値のある手がかりですが、Cognityはそれを証拠とは呼びません。審査の場でも、証拠として扱うべきではありません。
理解度を直接測れるものは、どこにもありません。Cognityにできるのは、成果物がどう作られたかの根拠を、成果物の隣に置くことです。判断は学術的なもので、教員の手に残ります。
Cognityは要約し、見えるようにします。決めるのは教員です。不正らしさのスコアも、教員に代わって学生を選び出すしきい値もありません。
別システムの運用、成績簿の二重管理、新しい不正対応の手続き。それが必要なら、ここまでの話は割に合いません。
全員がチャットボットを開いていても、意味を保てる評価を。手書きの監督付き試験に戻らずに。
科目ごとに事情が違っても、学科として実際に守れる一つのAI方針を。
争われるパーセンテージ頼みの案件を減らし、残る案件には審査で読める根拠を。
AIを使いこなす力を、ルールの陰で覚えさせるのではなく、教えて評価できる形に。
方針、手続き、履修者数、システム。試験導入の前に出てくる質問です。