AIに共通テスト解かせたら何点取れる？【ChatGPT】

試しに現代文と英語リーディングを大問1つずつ解かせてみました。（全問やるはさすがにこちらの作業がだるすぎるので）

結果

現代文　6問中2問正解→解けてない！　※ただしこの結果は無効

英語R　3問中2問正解→解けてる。並び替え問題でワンミスしてるだけ。

序論

令和3年度からセンター試験に代わって共通テストが導入された。

共通テストは「理解の質・思考力、判断力、表現力を問う」という使命を持って誕生している。

さて、「AI時代」なるものに関する言説として、「ヒトは思考力　AIは知識」という棲み分け論が散見される。言わせれば、「理解の質・思考力、判断力、表現力」というのはヒトの専売特許なわけだ。センター試験の下で知識一辺倒の教育をしてもAIに負けてしまうから、これからは思考力教育の時代だと。

この手の話は共通テスト擁護論に少なくない。（もっとも文科省も大々的にそう言ってるわけではないが）

では、もし共通テストをAIが解けてしまったら？共通テストで高得点を取るための教育は、子どもをAIに近づけるための教育でしかなくなり、前述の「棲み分け」論は破綻する。

共通テストは本当に思考力教育のコンセプトに適うものなのだろうか。検証してみよう。

結果（再掲）

現代文　6問中2問正解→解けてない！　※ただしこの結果は無効

英語R　3問中2問正解→解けてる。並び替え問題でワンミスしてるだけ。

考察

現代文6問中2問正解は、流石に「解けていない」という判定になる。2つの文章を照らし合わせるとか以前に、普通に日本語の読解問題がChatGPTにはできない。これは言語の壁である気がするので、この結果は無効にして、AIとしての性能はChatGPTの母語である英語で測ることにする。

英語はできている。共通テスト以外の問題でも試したが、英語の読解は基本的にできる。今回も共通テストの特徴である「出来事の整序問題」にこそ対応できなかったが、純粋な読解はできていた。選択肢を与えたのに勝手に自由記述を書き上げてしまうくらいには、本文内容を把握していた。

共通テストにはない文法問題も、やらせてみると相当強い。語彙レベルだってどれだけ上げてもChatGPTは音を上げない。共通テストよりはるかに難しい文章でもただの読解や空所補充ならほとんど正答する。

まとめ

ChatGPTは伝統的な読解問題を得意とする。語彙や文法といった知識分野にも強い。その一方、共通テスト独特の問題には苦労していた。この結果は「ヒトは思考力　AIは知識」という棲み分け論や、「共通テストは思考力を測る」とする擁護論を支持しなくとも肯定するものであった。

ただし、ChatGPTは知識のない一個人が無料で使えるレベルのツールでしかないことに注意されたい。

あと、ChatGPTは出鱈目をそれっぽく言う能力がめっちゃ高いので、スカスカな文章とか書きたいときには有効。

余談

ChatGPTって基本的には（変な指示をしなければ）一般論しか言わないんですよ。機械学習の結果、多数派が支持する一般論を覚えてくるんでしょうね。で、一般論を学習したAIが一般論を言って、それを別のAIが学習して一般論を言う。一般論を支持する主体が無限に増えていく。この連鎖は、マジョリティの拡声器として作用するじゃないですか。現時点で多数派が支持する一般論はAIを味方につけ、さらに盤石な一般論になっていく。最終的に、少数意見がどんどん通りにくい世界になる気がしてしまいます。ということで、言いたいことがある人は、今のうちに言っといた方がいいですよ。AIが多数派に迎合することで、世の中に一般論しか流れなくなる前に。

実験方法

レギュレーション

2022年度共通テスト現代文第1問と英語リーディング第3問Bを話題のチャットAIであるChatGPTに読ませ、設問に解答させる。細かな指示を除いて、課題文および設問は改変しない。漢字問題は省く。「ノート」を見て答える問題、はChatGPTに矢印などの図形を認識させることが困難であるため、「ノート」部分を可能な限り元のニュアンスに近い形で文章化してからChatGPTに与える。

詳細

DNCが公開している問題をOCRなども使いながらテキスト化しました。

まず読んでもらいます。

処理は終わったっぽいが反応がない。

理解したかどうかわからないので、「理解したら理解したと言ってください」と注文をつけました。すると、

理解できたようです。

この状態で、各設問に答えてもらいます。

傍線や「ノート」を認識させることが難しいので、全て設問は文章化しています。

英語も同様。

内容を理解はしているようなのですが、何度やっても勝手に解答を自由記述してしまうという事態が起こりました。