中間表現アプローチの評価

この章で扱う問い

本章の問いは、ただ一つです――中間表現アプローチに沿って作ったシステムが「効いた」と、僕たちはどうすれば言えるのか。形式化と中間表現を整え、ITS や適応的環境を実装したところで、それが学習者にとって本当に役立っているという証拠を示せなければ、この立場は工学的な実用には届いても、学問としての説得力を持ちません。第 12 章までは「何をどう作るか」を扱ってきました。本章と次章は、「それをどう確かめるか」を扱います。教育研究や Learning Analytics の研究室から来た方は馴染みのある話題が多いと思いますが、AI 系・HCI 系から学習支援に踏み込んだ方には、教育という領域がどれだけ評価を要求するかを感じてもらう章でもあります。

評価の枠組みは、結局のところ次の三つの軸に尽きます。何を測るのか（学習者の満足度なのか、知識獲得なのか、転移なのか、生涯にわたる影響なのか）。何と比べるのか（無処置との比較なのか、既存教材との比較なのか、人間の家庭教師との比較なのか）。誰に対して妥当なのか（実験室の少数例で示された効果は、別の学校・別の学習者集団・別の文化圏にも当てはまるのか）。本章はまず、自分の研究がどの段階にあり、どこまでの証拠を示せば十分なのかを測る目盛りを置きます。そのうえで三軸を順に立て、さらに中間表現アプローチに固有の評価課題――中間表現が認知的に妥当かをどう示すか、説明可能性をどう評価するか、孤立したシステム評価を超えてエコシステム視点で測るとは何か――を論じます。次章（第 14 章）はこれらの問いに応える統計的な道具立てを与えます。

なぜ中間表現アプローチに評価が必要か――「もっともらしさの罠」

このアプローチに沿って作るシステムには、評価をしないで済ませたくなる強い誘惑があります。なにしろ、認知科学の理論を引き、形式化を行い、中間表現で記述し、それに基づいて適応的に介入する――構成原理のすべてに正当化の根拠が並んでいるのですから、効果がないはずはないように見えます。

しかし教育研究の歴史は、理論的にもっともらしいものほど、実際に検証してみると効果が思ったほどないか、むしろ逆効果だった という事例で埋め尽くされています。学習スタイルに合わせた指導は直感的ですが、メタ分析では効果が確認されません。動画を見せながら同じ内容のテキストを画面に出すのは「冗長性で記憶が定着する」と思われていましたが、実際にはワーキングメモリを圧迫して理解を妨げます（認知負荷理論の冗長性効果）。Cognitive Tutor の大規模フィールド評価（後述の RAND 評価）でも、研究室実験で見られた大きさの効果は、導入 1 年目の現場では確認されませんでした。理論が正しいことと、特定のシステム実装が学習者を助けることのあいだには、必ず経験的なギャップがあるのです。

このギャップは、「形式化された理論に基づくから機能するはずだ」と論じるアプローチでこそ、いっそう警戒されるべきものです。形式化はあくまで「考えを揃え、検証可能にする」ための道具であって、考えそのものの正しさを保証しません。誤った認知モデルを精緻に形式化しても、学習者の現実から外れていれば、システムは精緻に外れ続けるだけです。形式化は仮説の表現手段であって、仮説の検証ではない。検証は経験データによる――これが本章の出発点です。

加えて、中間表現アプローチには固有の理由から評価が二重に重要になります。第一に、この立場は「説明可能性」を重視します。説明できるということは、説明が当たっているか、誤って当たっているように見えているだけかを区別する義務を負うということです。第二に、このアプローチは中間表現の再利用とエコシステムの累積を目指します。再利用に値するかどうかは、誰かが使ったときにそのモデルが本当に学習を助けたという証拠の蓄積でしか正当化できません。形式化と再利用と評価は、三位一体なのです。

研究の型と、求められる証拠

もっともらしさの罠を警戒しすぎると、今度は反対側の失敗が起きます。学部の卒業研究で作ったプロトタイプに、いきなり無作為化比較試験を求めるような要求です。逆に、実験室で数名に使ってもらった観察だけを根拠に「効果があった」と書いてしまう論文も後を絶ちません。どちらも、その研究がどの段階にあるのかを決めないまま証拠の話をしている ために起きます。過大な要求も過少な証拠も、同じ原因から出てきます。

段階を自分で決めるための物差しとして使えるのが、米国教育省の教育科学研究所（IES）と全米科学財団（NSF）が 2013 年にまとめた Common Guidelines for Education Research and Development [IES2013] です。教育研究を六つの型に分け、型ごとに、その研究が何を正当化の根拠として持つべきか、何を成果として出すべきかを定めています。研究費の審査のために作られた文書ですが、そこで問われることは査読や学位論文の審査で問われることとほぼ重なります。

表 13-1: 教育研究の六つの型と、型ごとに求められる証拠（[IES2013] をもとに整理）

この六つは階段ではありません。ガイドライン自身が、知識の発展は直線ではないと断っています。効果検証の結果が基礎的な問いを呼び戻すこともありますし、MOOC のように、基礎知識の段階から小規模な検証を飛ばして一気に大規模な実装へ進む場合もあります。ひとつの研究が複数の型の要素を含むことも珍しくありません。型は研究の順序ではなく、いま書こうとしている主張と、手元にある証拠の釣り合いを測るための目盛り だと考えてください。

この目盛りを本書の文脈に当てると、中間表現アプローチに沿った研究の多くは「デザインと開発」に位置します。認知を形式化し、中間表現として書き下し、それに基づくシステムを作って現場で試す、という作業がまさにこの型だからです。この型で求められるのは、無作為化比較試験ではありません。実際に使える形まで作られたシステム、その設計が依拠する理論の明示、設計を反復するなかで理論のどの前提が支持され、どこが修正されたのかの記録、実際の教室で運用できることの証拠、そして意図した学習成果につながる見込みを示すパイロットデータです。逆に言えば、この五つを欠いたまま「効いた」と書けば、型に対して証拠が足りません。

同じ目盛りは、本書そのものにも向けられます。「共有できる中間表現があれば、分野の知見は累積する」という本書の主張は、六つの型で言えばまだ探索研究の段階にあります。中間表現を共有した研究群が、共有しなかった場合より早く進んだ、という比較は、まだ誰も示していないからです。本書はこの主張を、検証済みの結論としてではなく、検証に値する仮説として置いています。

実務的には、研究計画を立てる段階で、自分の研究がどの型にあたるのかを一文で宣言しておくことを勧めます。そうすれば、何をどこまで示せば十分かが先に決まります。査読で「効果の証拠が不十分だ」と書かれたときにも、それが型の取り違えによる過大な要求なのか、自分の型に照らして本当に証拠が足りないのかを、切り分けて考えられます。なお、「デザインと開発」の型を方法論として具体化したものが Design-Based Research で、これは第 14 章で扱います。

第一の軸――何を測るか

「効果があった」と言うとき、何が改善されたことをもって効果と呼ぶのかを、まず決めなければなりません。同じ介入が、見方を変えれば「大成功」にも「ほとんど無効」にもなります。

Kirkpatrick の 4 段階評価モデルとその適用

企業研修の評価のために提案された Kirkpatrick の 4 段階評価モデル [Kirkpatrick1994] は、教育技術にもよく適用されます。Level 1: Reaction（学習者が満足したか、続けたいと思ったか）、Level 2: Learning（知識・スキルを獲得したか）、Level 3: Behavior（学んだことを実際の文脈で使えているか＝転移）、Level 4: Results（組織や社会のレベルで結果が出たか――卒業率、進学率、社会参加など）の 4 段階です。

表 13-2: Kirkpatrick の 4 段階評価モデルと中間表現アプローチでの重み付け

Duolingo のレビューが好評で利用者数が伸びているのは Level 1 の話であって、その利用者が CEFR の B1 に到達できたかどうかは Level 2 の話です。両者は相関するとは限りません――A/B テストで「ユーザーが楽しい」と「学習者が伸びる」が乖離する現象は、Duolingo 自身が公開している通り、実際にしばしば起きます（第 16 章参照）。中間表現アプローチが測りたいのは、原則として Level 2 と Level 3 です。Level 1 だけで判断してはならないし、Level 4 まで届かなければ社会的価値があるとも言い切れません。

測定が難しい層ほど重要になる

ここに評価の本質的な難しさがあります。測りやすいものは Level 1 と Level 2 の浅い側面――選択式テストの正答率、システム上のスキル習得フラグ――であり、真に重要なものは Level 3 以上の深い側面――別の文脈で同じスキルを再活用できるか、半年後にも保持されているか、その学習が次の学習に踏み出す自信や学習習慣を生んだか――です。

例えば代数学習で「両辺から定数を引く」操作の習熟率が上がっただけでは、文章題に変換された問題を解けるとは限りません。Cognitive Tutor の評価では、単元末テストで効果が見えても、その効果が次年度には持ち越されないことが観察されており、これは転移と保持の弱さとして報告されてきました。中間表現アプローチの評価設計では、Level 2 の浅いところで満足せず、転移課題の設計――文脈、表現、難度を学習時とずらした問題で検証すること――が必須です。

何を測るかは「価値判断」を伴う

最後に、何を測るかという問いはそれ自体が価値判断であることを忘れてはなりません（第 17 章ともつながる論点です）。「正答率を上げる」を効果と呼ぶことは、「速く正確に答える学習者が良い学習者である」という前提を埋め込みます。これは概念的理解、創造性、批判的思考、メタ認知の発達といった他の価値を相対的に低く扱うことを含意します。形式化を重視するアプローチは、形式化しやすい指標――手続き的習熟、ステップ正答率、習熟確率の閾値到達――に評価が偏りやすい構造的バイアスを抱えます。設計者は、この偏りを意識的に補正する必要があります。

第二の軸――どう比較するか

「学習者の成績が伸びた」だけでは、それが介入のおかげなのか、自然な成熟や同時期に起きた他の出来事のおかげなのかが分かりません。比較 こそが因果推論の核です。

ランダム化比較試験――内的妥当性のゴールドスタンダード

ランダム化比較試験（Randomized Controlled Trial, RCT）は、学習者を介入群と統制群にランダムに割り当て、群間のアウトカムの差を介入の因果効果として推定します。ランダム割り当てが鍵で、これにより観測されない交絡変数――潜在的な能力差、家庭環境、動機づけ――が群間で確率的に均等化されます。教育研究で RCT は内的妥当性（介入が本当に結果の原因か）の最高水準として位置づけられます [Shadish2002]。

具体例を一つ通して見ましょう。VanLehn のメタ分析 [VanLehn2011] でしばしば引かれる元実験――個別ステップフィードバック付き ITS と、紙の演習＋事後解説との比較――は、典型的には次のような構造を取ります。物理または代数の同一カリキュラムを学ぶ学習者を、介入群（ITS でステップフィードバックを受けながら問題を解く）と統制群（同じ問題を紙で解き、後でまとめて解説を聞く）に割り当てます。学習時間と学習量は揃えます。事前事後テストで知識獲得を、ずらした文脈の転移問題で深さを、半年後の保持テストで持続性を測ります。VanLehn のメタ分析は、こうした研究を集約した結果として、ステップレベルの ITS は人間の家庭教師に近い水準（効果量 $d\approx 0.76$）で、テキスト・大講義の統制条件を上回ることを示しました。

Cognitive Tutor の RAND 大規模評価 [Pane2014] は、同じ哲学を「実験室を出た」スケールで実行した稀有な事例です。米国 7 州・51 学区の 147 校（高校 73 校・中学校 74 校）、うち高校生約 18,700 名を、学校単位（クラスター）でランダムに介入群と統制群に割り当てました。介入群は 1 年目に Cognitive Tutor 中心の代数 I カリキュラムへ移行し、2 年目もそのまま継続しました。1 年目は有意差がなく、2 年目に介入群が標準テストで $d\approx 0.20$ 高い成績を示しました。これが、教育介入が「実環境でも統計的に有意な差」を示した例として歴史に残る数字です。VanLehn のメタ分析（研究室実験中心）での $d\approx 0.76$ と RAND の現場実験での $d\approx 0.20$ の差――ほぼ 4 倍――が、この章のあと半分で議論する「内的妥当性と外的妥当性のトレードオフ」の物質的な現れと言えるでしょう。

準実験デザイン――現場が押し付けてくる現実

教育現場では、クラスを無作為に割り当てることが倫理的・実践的に困難なことがしばしばあります。同じ学校内で「あなたのクラスは新システム、隣のクラスは旧来通り」と分けることは、保護者や教師の納得を得にくいものです。そこで使われるのが 準実験デザイン です――異なる学校、異なる学期、異なる教師のクラスを比較します。

問題は当然、群間に事前の差（選択バイアス, selection bias）が入り込むことです。新システムを導入する学校は、たいてい教師がもとから熱心で、設備が整っており、学力面でも上位にあります。それを補正するために、いくつかの統計的手法が常用されます。

事前テストによる共変量調整（ANCOVA）は、事前テストの成績を共変量としてモデルに入れ、群間で「同じ事前学力ならどちらが伸びるか」を比較します。差分の差分法（Difference-in-Differences）は、事前事後の変化量を群間で比較し、各群の初期値の差を相殺します。傾向スコアマッチング（Propensity Score Matching）は、観測された特性（年齢、性別、過去成績、社会経済指標など）から「介入群に入る確率」を推定し、その確率が近い学習者同士をペアにして比較します。

表 13-3: 実験デザインの比較

これらはどれも、観測されない交絡（測定された共変量には含まれない要因）に対しては無力です。「同じ事前テスト得点でも、新システムを使う側のクラスは教師が 3 倍熱心だった」のような状況は、共変量調整では消えません。準実験は実用的ですが、結論を絶対視しないという習慣を要求します。

比較の単位――個人かクラスか

教育研究では割り当ての単位（個人なのか、クラスなのか、学校なのか）が決定的に重要です。クラスを単位に割り当てた研究を、個人レベルで分析するとサンプルサイズを過大評価して有意差を出しすぎてしまいます（クラスタリングの問題）。RAND の Cognitive Tutor 評価が学校単位での割り当てだったのは偶然ではありません――介入の本質が「学校全体のカリキュラム移行」であった以上、それより小さな単位では介入そのものが成立しないのです。第 14 章で扱う階層線形モデル（HLM）は、この多層構造を正面から扱う統計的道具です。

第三の軸――誰に対して妥当か

VanLehn のメタ分析と RAND の評価で効果量に 4 倍近い差が生じたのは、被験者の質や数の違いだけではありません。研究室で示された効果が、別の文脈にどこまで一般化できるか――これが 外的妥当性（external validity）の問題です [Shadish2002]。

内的妥当性と外的妥当性のトレードオフ

研究室の RCT は、介入の純粋な因果効果を抽出するために、ノイズを徹底的に除去します。同質な大学生被験者、訓練された実験者、統制された時間と環境――これらは内的妥当性を最大化します。しかし同時に、現場では決して再現されない条件 を作り上げてしまうのです。実際の中学校では、学力差の大きい生徒が混ざり、教師は ITS の使い方に十分習熟しておらず、ネットワーク障害で 30 分遅れる日もあり、生徒の半数は前夜の睡眠が足りていません。

Cognitive Tutor の RAND 評価が 1 年目に有意差を出せなかった主因は、実装の忠実度――教師が研修通りに ITS の時間配分やダッシュボード活用を行えていたか――のばらつきでした。2 年目に効果が出始めたのは、教師がシステムに慣れ、実装が研究計画に近づいたからです。これが意味するのは、「ITS の効果」を測ったつもりで、実は「ITS と現場の摩擦」を測っていたという、教育介入評価が常に直面する逆説です。

研究室と現場のこの溝を埋めるために、近年は段階的なアプローチが取られます――まず研究室で内的妥当性の高い実験で「効くこと」を示し、次に少数校でフィージビリティ研究を行い、最後に大規模 RCT で「現場でも効くこと」を確かめます。Efficacy（理想条件での効果）と Effectiveness（現場条件での効果）の区別 は、教育評価の語彙として定着しています。中間表現アプローチの評価設計は、これを意識的に切り分ける必要があります。

構成概念妥当性――「測ったものは本当に測りたかったものか」

外的妥当性と並んで重要なのが 構成概念妥当性（construct validity）です――テストで「代数の理解」を測ったつもりが、実は「テスト形式への慣れ」や「読解速度」を測っているだけかもしれません。本書の関心からは、特に次の三つが問題になります。

第一に、ITS の中で測れるスキルと、現実の数学的能力との対応 です。Cognitive Tutor が「両辺を割る」スキルを習熟と判定したことが、紙の試験で同じ操作を再現できることを意味するとは限りません。学習者はインタフェース固有の手がかり（例えば「次のステップ」ボタンの配置）に依存して問題を解いているだけかもしれません。

第二に、直後の成績と長期保持の混同 です。学習直後に行う事後テストの正答率は、長期記憶への定着を意味しません。間隔を空けた保持テスト、できれば翌学期のテストでの再評価が必要です。

第三に、多肢選択 vs パフォーマンス課題 です。多肢選択テストは採点が容易かつ客観的で、大規模に実施できますが、深い理解、推論の柔軟性、概念の関連付けを測る能力は限定的です。中間表現アプローチが標榜する「概念的理解」を評価したいなら、説明課題、誤り検出課題、転移課題などのパフォーマンス課題が必要となります。

文化的・社会的妥当性

本書が扱うような形式化されたシステムは、開発元の文化的前提を内在させやすいものです。日本の数学教育は文章題の構造的読解を重視し（第 16 章で扱う Monsakun はその発想に立ちます）、米国の数学教育は手続き的流暢さを早期に重視します。日本で開発された認知モデルが米国の教室でそのまま機能する保証はありません。中間表現アプローチのエコシステム構想は再利用を狙いますが、再利用するときに 文化的・教育制度的妥当性の再検証 が要ります――これは形式化の限界を画す重要な制約です。

中間表現アプローチに固有の評価課題

ここまでの三軸――何を測るか、どう比較するか、誰に対して妥当か――は、教育介入研究全般に共通する話です。このアプローチに固有の評価課題は、これらの上に、さらに三つ加わります。

中間表現の認知的妥当性をどう示すか

この立場では、中間表現を「学習者の認知構造のモデル」として書き下します。しかしそれが学習者の頭の中で実際に起きていることに対応しているかは、自明ではありません。例えば Cognitive Tutor は数学問題の解法を ACT-R プロダクションルールの集合として表現しますが、実際の学習者がそのルールに対応する操作を心の中で実行しているという証拠は、独立に確かめる必要があります。

確かめ方には二系統あります。一つは 予測的妥当性――モデルが「学習者がこのスキルでつまずく」と予測した箇所で実際に誤答が増えるか、モデルが習熟と判定した箇所で実際に転移課題でも成功するか。これは大規模ログデータで検証できます（第 14 章の HLM や学習曲線分析、第 9 章の BKT がここで使えます）。もう一つは プロセス的妥当性――思考発話法（第 14 章）でのプロトコル分析や、視線追跡データで、モデルが想定する認知ステップが実際に観察されるか。後者は大規模には実施できませんが、モデルの意味的妥当性に直接迫れます。

中間表現アプローチの評価設計では、両方を組み合わせる必要があります。予測精度だけ高くて、内部のプロセスがブラックボックスでは、それは Deep Knowledge Tracing と区別がつかないからです。

説明可能性をどう評価するか

「説明可能である」というのは、中間表現アプローチが主張する核心的な価値の一つです。しかし、これは検証されなければなりません。三つの観点で問えます。

正確さ――システムが提示する説明（「あなたはここでスキル X を誤適用した」）が、内部のモデル状態を正しく反映しているか。LLM が生成する説明は、しばしば内部状態と乖離します（事後合理化）が、これは形式モデルでも油断なりません。

理解可能性――その説明を、学習者・教師・保護者が実際に読んで意味を取れるか。形式的に正確でも、専門用語まみれで読まれない説明は、説明していることになりません。説明の理解度は、ユーザー研究（インタビュー、理解度クイズ、行動変容の追跡）で測ります。

行動への寄与――説明を読んだ学習者・教師は、その説明に基づいて自分の学習・指導を変えるか。説明可能性が「飾り」で終わらず、メタ認知的調整や教師の介入判断に実際に使われていることを示すには、説明の有無で群分けした介入実験が要ります。

エコシステム視点での評価――孤立から累積へ

最後に、中間表現アプローチの野心は「個別システムの効果」を超えて「エコシステムとしての累積」にあります（「本書の見取り図」、第 1 章、第 15 章、第 18 章参照）。となると、評価の単位もまた、個別システムを超えて拡張されるべきです。

具体的には、次のような問いが評価の対象になります。ある中間表現で書かれた認知モデルが、別の研究グループによって再利用された頻度はどれくらいか。再利用されたとき、再利用先のシステムでも効果を生んだか。PSLC DataShop [Koedinger2010] のような共有データに対して、コミュニティが累積的に改善した知見の量はどれくらいか。これらは個別の RCT では測れない、コミュニティ・レベルの評価指標 です。

これは現状ほとんど整備されていません。学術論文の引用数や DataShop での再利用回数といった粗い指標で代替されているのが実情です。この構想をさらに発展させるには、エコシステム評価のメトリクスそのものを設計することが必要になる――これは第 18 章の課題です。

評価設計の道筋――三軸を組み合わせる

これら三軸を実際の研究計画に落とし込むときの、典型的な道筋を示しましょう。

問いを言語化する。「このシステムは効くか」では雑すぎます。「このシステムは、どのレベル（Level 1〜4）で、何との比較で、どの集団に対して効くか」を明示します。中間表現アプローチの評価では、Level 2 と Level 3 を中心に据えたうえで、「概念的理解」「転移」「メタ認知的調整」のうちどれを主眼とするかを宣言します。

比較条件を設計する。「介入なし」は弱い基準です。同等の学習時間で行う既存の方法、人間の家庭教師、別の ITS、自分のシステムの一部機能を切り落としたバージョン（ablation）――どれと比べるかで結論の重みが大きく変わります。中間表現アプローチが想定するような、「説明可能性」「中間表現」「適応性」など複数のコンポーネントを持つシステムでは、ablation 比較がコンポーネント別の効果を分離する上で不可欠です。

割り当て単位を選ぶ。個人なのかクラスなのか学校なのか。介入が「学習者の認知に直接働く」なら個人レベル、「教師の指導と組み合わさって機能する」ならクラスレベル、「カリキュラム全体の置き換え」なら学校レベル。割り当て単位より小さな単位での効果推定はできません。

外的妥当性の射程を宣言する。研究室実験なら「この結果はこの集団・この条件での効果である」と限定的に書きます。複数文脈での再現がなければ一般化は控えるべきです。これは中間表現アプローチのエコシステム志向にとって倫理的にも重要です――再利用される中間表現は、その評価の射程と一緒に流通すべきだからです。

事前登録を行う。仮説と分析計画を実験前に公開登録する慣習（pre-registration）は、HARKing（Hypothesizing After the Results are Known）を防ぎ、評価の信頼性を担保します。これは次章の話題ともつながります。

形成的評価と総括的評価――開発のサイクルへ

ここまでは「すでに作ったものをどう確かめるか」、すなわち 総括的評価（summative evaluation）の話でした。中間表現アプローチに基づく研究では、もう一つの評価――開発の途中で設計を改善するための 形成的評価（formative evaluation）――が同じくらい重要になります。

形成的評価は、少数の学習者を対象にしたパイロット試行、思考発話法（第 14 章）による問題箇所の特定、教師との対話、A/B テストによるインタフェース改善の繰り返しから成ります。Wieman らの PhET は、各シミュレーションを開発する過程で多数の学生インタビューを反復し、設計を磨きました [Wieman2008]。これはデザインベース研究（DBR、第 14 章）の哲学そのものです。

形成的評価と総括的評価は対立しません――前者は仮説の精緻化、後者はその検証です。中間表現アプローチの評価は、両者の循環として組まれるべきです。中間表現に基づくシステムは、形成的評価で発見された誤概念や予想外のつまずきを、中間表現の修正としてフィードバックできる――これがこのアプローチのエコシステム志向の中核的なプロセスです。

次章への橋渡し

本章では、中間表現アプローチの評価を「何を測るか」「どう比較するか」「誰に対して妥当か」の三軸で立て、その上にこのアプローチに固有の三つの課題――中間表現の認知的妥当性、説明可能性の評価、エコシステム視点――を重ねました。これらは「枠組み」の話で、実際にこれらを実行するには統計的な道具立てが要ります。

次章では、その道具立て――効果量、検出力、多重比較補正、構造方程式モデリング、階層線形モデル、シーケンス分析、そして思考発話法やデザインベース研究といった質的・反復的手法――を、中間表現アプローチに基づく研究の具体的な場面に即して紹介します。統計が苦手でも追えるように、手を動かして確かめられる小さな例を多めに置きました。本章で立てた問いに、定量的に答える術を見ていきましょう。