この記事を共有・保存

Xで共有

AUDIO

この記事を聴く

4:31

ログイン情報を確認しています…

本文をもとにした音声版です。

リード| Nature Human Behaviourの大規模判定実験を検証。人間らしい出力と正しい出力の違い、機械判定の有利な条件を整理する。

AIの文章を読んで「これは人間が書いた」と感じたとき、私たちは何を見ているのだろう。文章の正確さか、語り口の自然さか、それとも人間ならしそうな間違い方か。2026年10月26日にNature Human Behaviourで公表された研究は、「正しい回答をするAI」と「人間らしい回答をするAI」は別の評価軸だという問題を、大規模な判定実験で検討した。[1]

研究チームは636人の人間と37のAIエージェントから回答を収集し、1916人の人間判定者と10のAI判定器を使って、合計7万2191回のチューリングテストに似た判定を行った。[1][2] ただし「7万人に聞いた研究」ではない。判定の回数と判定者の人数を混同しないことが出発点だ。

何を比べた研究なのか

課題は言語3種類と視覚3種類。言語は画像説明、単語連想、会話。視覚は色の推定、物体の検出、どこを見るかという注意の予測だ。人間またはAIが出した回答を見せ、「人間が作ったものか、機械か」を判定してもらう。[1]

実験では、人間の回答とAIの回答を原則半々に提示した。つまり無作為に二択するだけなら期待される正答率は50%になる。研究の関心は、AIの回答がどれだけ人間に誤認されるか、また人間とAIの回答を区別する手がかりがどこにあるかだった。これは知能の総合試験ではない。[1]

例えば画像説明の課題では、人間判定者が人間の説明を人間と判定した割合は67%、AIの説明をAIと判定した割合は46%だった。[1] 後者だけを見ると、AIの説明が人間と誤認された割合は54%に当たる。ただし二つの値は分母が異なり、単純に足して「全体の正答率」と呼べない。

さらに研究チームは、オンラインでの判定が雑だった可能性を検討するため、実験室内でも一部を再実施した。画像説明課題の比較では、オンライン判定者293人と実験室内11人の平均検出指標がともに約0.57と報告された。[1] これはオンライン実験だけの偶然という説明を弱めるが、実験室内の11人という小さな集団が、すべての課題の一般化を保証するわけではない。

「人間らしい」と「優秀」は同じではない

ここが研究の最も重要な点だ。画像説明の品質を測るBLEUやCIDErのような既存指標と、「人間の回答に見えるか」という評価の関連は小さかった。[1] 画像の内容を的確に説明するモデルが、必ずしも人間に見えるとは限らない。逆に、人間がよく犯す曖昧さや誤認に似た答えを返すAIは、正確性で最高でなくても人間らしく見える場合がある。

「人間らしさ」は文体だけの話でもない。何を見落とすか、どんな単語を連想するか、視線をどこへ向けるか。研究は視覚課題も扱うことで、人間の判断に含まれる偏りや癖を模倣の対象にした。AIの評価を一つのスコアで済ませられない理由がここにある。

AI判定器は人間より優秀だったのか

研究では、学習済みの機械判定器が、多くの課題で人間判定者よりよくAIの回答を識別した。[1] しかし、この結果を「AIはいつでもAIを見抜ける」と言い換えるのは誤りだ。多くの機械判定器は、人間とAIの回答例を使って識別するための訓練を受けていた。一方、人間判定者には同等の事前訓練が与えられていない条件が多い。

未知のAIに対して判定する課題では機械判定器の性能も下がり、会話課題では人間より不利な条件もあった。研究では、機械判定器が単一の文を見ていたのに対し、人間は会話全体を利用できた場面がある。[1] したがって比較の公平性は、同じ情報量・同じ訓練条件かで変わる。

反対仮説――この実験は日常の「見抜く力」を測っていないのでは

その指摘には根拠がある。実験は決められた六つの課題で行われ、AIの種類も研究時点のモデルに限られる。実生活では、相手に追加質問したり、履歴や出典を調べたりできる。逆に、実生活では相手が人間とAIのどちらか50%ずつとは限らない。判定の基準率が変われば、正答率の解釈も変わる。

さらに、今回の実験はAIが意識を持つか、あるいは人間と同じように理解しているかを示すものではない。研究者自身も、知能そのものを測る研究ではないと説明している。[1]

FORWARD BASISの結論

今回の結果から言えるのは、短い回答の自然さだけを根拠に人間・AIを判定することは難しく、人間らしさと正確さは別々に検証すべきということだ。文章を読む側に必要なのは「AIっぽいか」という勘の精度を誇ることではない。誰が発したか、何を根拠にしているか、内容は再検証できるかを分けて考える習慣だ。

SOURCE / 原典

この記事の出典

本文の事実確認に使用した原典です。FORWARD BASIS独自の解釈・整理は本文内で区別しています。

  1. 論文Zhangほか「Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI」Nature Human Behaviour(2026年10月26日)
  2. 補足研究者公開コード・実験手順 Kreiman Lab / TuringTest
  3. 論文著者論文の公開版「Can Machines Imitate Humans?」

SUPPORT FORWARD BASIS

この記事が参考になったら

FORWARD BASISは、根拠に基づく質の高い情報を届けています。記事が役に立ったと感じたら、OFUSEから活動を応援していただけるとうれしいです。

FORWARD BASISを応援する
NEXT BASIS
心理学を見る →