AIの推論を1つに絞らせる ― 「もっともらしさ」で選ばない反証の使い方

AIの推論を1つに絞らせる ― 「もっともらしさ」で選ばない反証の使い方のアイキャッチ画像 AIツール活用

候補がいくつかある問題をAIに投げると、たいてい「最も可能性が高いのはこれです」と一つ選んで返ってくる。理由も添えてあって、もっともらしい。だが、その「もっともらしさ」で選んだ答えが外れることがある。もっともらしさは、思い込みが最も入り込みやすい場所だからだ。

最初に思い浮かんだ候補や、よく聞く候補は、それだけで基準になりやすい。以降の検討は、その候補を支える方向へ引きずられる。人の判断でも起きるが、AIに任せるときも同じように注意が要る。放っておけば「一番ありそうなもの」を選び、思い込みをそのまま強化してしまう。効くのは、候補を比較して選ぶのをやめ、反証だけで一つずつ消していく手順――仮説収束――だ。

この記事の要点

  • 「最ももっともらしい候補」を選ぶやり方は、最初の候補に引きずられる偏り(アンカリング)を再生産しやすい
  • 効くのは、候補を比較で選ぶのではなく、反証(それと矛盾する事実)だけで消していくこと(仮説収束)
  • 試す前に「どの結果ならどの候補が消えるか」を先に決めておくと、あいまいな結果を都合よく読む余地が減る
  • 残った候補が一つになるか、判別できなくなったところで止める

なぜ「もっともらしさ」で選ぶと外すのか

最初の候補が基準になってしまう

LLMのアンカリング(最初に示された情報に判断が引きずられる偏り)を実験的に調べた研究(Lou・Sun, 2024)によると、モデルは与えられたヒントに敏感で、個々の情報に引きずられやすい。緩和するには多角的にヒントを集める必要があり、単純に思考を書き出させる(Chain-of-Thought)だけでは足りないという。

つまり、最初に出た候補や、プロンプトに含まれた手がかりが「錨(アンカー)」になり、そこからの微調整で答えが決まってしまう。候補Aを軸に据えると、以降はAを支える情報が集まりやすく、Aを否定する事実は軽く扱われる。これが「もっともらしさ」で選ぶことの危うさだ。

比較で選ぶと思い込みを再生産する

「AとBならAのほうがありそう」という比較は、一見まっとうに見えて、実は最初の見立てを追認しているだけのことがある。複数の解き方を束ねると精度が上がることを示した自己整合性の研究(Wang ほか, 2022)が示すように、複雑な問題は一つの筋道だけで扱うと外しやすい。もっとも、自己整合性は複数の推論経路を束ねる手法であり、候補を反証で落とす手法そのものではない。ここで使う仮説収束は、その考え方を実務の切り分けに寄せ、候補を「ありそうだから」選ぶのではなく、事実と矛盾したものから落としていく。比較の代わりに反証を使うのは、この思い込みの再生産を断ち切るためだ。

見直しをAI自身に任せても、この偏りは抜けにくい。外部の手がかりなしにLLMが自分の推論を修正しようとすると、精度がむしろ下がる場合すらあると報告されている(Huang ほか, 2024)。だから「もう一度考え直して」では足りない。効くのは、本人の再考ではなく、外から与える判別テスト――事実で候補を殺す仕組みのほうだ。自分の頭の中だけで見直すと、もっともらしさの錨がそのまま残ってしまう。

反証で消す ― 三つの手順

仮説収束の手順 候補を並べて判別テストを先に決め、反証で候補を消す。候補が1つになるまで次のテストを当て、残った1つを結論にする。もっともらしさで選ばない。 候補を並べ、判別テストを先に決める 反証で候補を消す。 まだ2つ以上あるか? ある 次のテストを 当てる 1つになるまで 1つ 残った1つを結論に
図:仮説収束の手順 ― 反証で候補を1つに絞る

候補を並べる

まず、現在の証拠と矛盾しない候補をできるだけ挙げる。ここでは順位をつけない。「一番ありそうなのは」と言った瞬間に錨ができるので、この段階では優劣を判断しない。挙げること自体が目的だ。

判別マップを先に決める

次が肝心だ。結果を見る前に、「どの結果が出たら、どの候補が消えるか」を書いておく。たとえば「テストXで正常なら候補Aは消える/Xで異常なら候補Bは消える/どちらでもなければ判別できていない」という対応表を、試す前に作る。これを先に固定しておくと、あいまいな結果を「やっぱりAだ」と都合よく読み込む余地が減る。

判別マップは、複雑である必要はない。候補ごとに「これが起きたら、この候補は消える」を一行書くだけでいい。肝心なのは、それを結果より先に書くことだ。順番が逆になると、出てきた結果に合わせて基準のほうが動いてしまい、確かめたつもりで確かめていない状態になる。先に基準を固定し、後から結果を照らす――この順番を守るだけで、思い込みが入り込む隙はかなり狭くなる。

反証だけで落とす

そして、候補を落とすのは「それと矛盾する具体的な事実」があるときだけにする。「BのほうがもっともらしいからAを落とす」という比較消去はしない。それは思い込みの言い換えでしかない。判別できなかったテストは「支持」に数えず、判別失敗として扱う。矛盾する事実で消えた候補だけを外し、残ったものを次に回す。

良い判別テスト・悪い判別テスト

反証消去の精度は、判別テストの質で決まる。良いテストは、結果によって候補が実際に生き死にするテストだ。悪いテストと並べると差が見える。

悪いテスト(どの候補とも整合してしまう) 良いテスト(結果で候補が生き死にする)
「もう一度実行してみる」(多くの候補で再現するので絞れない) 「設定を元に戻して再実行する」(直れば設定、直らなければ設定は消える)
「ログをよく読む」(解釈次第でどの候補も支持できる) 「別の環境で同じ入力を試す」(再現すれば環境要因は消える)

コツは、テストを選ぶ前に「この結果ならこの候補が死ぬ」と言い切れるかを確かめること。どの結果が出ても全部の候補が生き残るテストは、情報を持たない。反対に、一つの結果が一つ以上の候補を確実に殺すテストほど、絞り込みが速い。

具体例:デプロイが失敗する原因を絞る

効き目は、一つ通すと分かりやすい。以下は説明のための仮想例だが、昨日まで通っていたデプロイが今日から失敗するようになった、という場面を考える。候補を挙げると、次のようになる。

  • 候補A:設定ファイルの変更
  • 候補B:依存ライブラリのバージョン更新
  • 候補C:実行環境の環境変数の欠落

もっともらしさで選ぶと、「依存の更新はよく壊れるから、たぶんB」に流れやすい。だが、選ぶ前に判別マップを作る。「設定を昨日の状態に戻して直ればA・依存を昨日のバージョンに固定して直ればB・手元のクリーンな環境で再現すれば環境要因ではないのでCが消える」。この対応を先に決めてから試す。

試した結果、手元のクリーンな環境でも同じように失敗したとする。判別マップに従えば、これはCを消す結果だ(環境固有ではない)。次に設定を戻しても直らず、依存を昨日のバージョンに固定したら直った。反証で消えたのはAとC、生き残ったのはB――少なくとも依存の更新に関わる原因まで絞られた。ここで大事なのは、最初に「たぶんB」と思ったこと自体は根拠になっていない点だ。Bが残ったのは、AとCが事実で消えたからであって、Bがもっともらしかったからではない。

もっともらしさで選ぶ 反証で消す
進め方 「依存が一番怪しい」と当たりをつける 判別マップを先に置き、事実で消す
残った候補の根拠 もっともらしかったから 他が事実で消えたから
外し方 思い込みがそのまま残る 思い込みが入る隙が狭い

もう一つの例:特定ユーザーだけログインできない

次も説明のための仮想例だ。あるユーザーだけがログインできない、という問い合わせが来たとする。候補は「パスワード誤り」「アカウントのロック状態」「ブラウザやキャッシュの問題」「IPによる制限」あたりだ。

ここでも、選ぶ前に判別マップを置く。「別の端末・別ブラウザで試して入れれば、元端末・キャッシュ要因が生き残り、アカウント状態やパスワード誤りは弱まる/管理側でロック状態を確認して解除で入れればアカウント状態/別ネットワークから試して入れればIP制限」。反証で一つずつ消していくと、たとえば「別端末でも入れず、ロックもかかっておらず、別ネットワークから入れた」なら、消えるのは端末要因とアカウント状態で、残るのはIP制限になる。ここでも、最初にありそうだった「パスワード誤り」は、本人が正しいと言い張るだけでは消えない。別の事実(別条件で入れた/入れない)で消して初めて絞れる。

二つの例に共通するのは、最初にありそうだった候補(依存の更新/パスワード誤り)が、もっともらしさでは消えなかった点だ。消えたのは、別条件での事実がそれと矛盾したときだけ。反証で消すとは、当たりを付ける作業ではなく、事実で候補を殺す作業に近い。

そのまま使えるプロンプト

この反証消去は、そのままAIに指示できる。原因や選択肢を絞りたいときに、次の枠組みを添える。

次の問題について、候補を一つに絞ってください。 1. 現在の情報と矛盾しない候補をできるだけ挙げる(この時点で順位はつけない) 2. 各候補について、「どの結果が出たら、その候補が否定されるか」を 先に書き出す(=判別マップ。試す前に固定する) 3. 実際の結果を判別マップに照らし、矛盾する事実がある候補だけを消す。 「他のほうがもっともらしい」という理由では消さない 4. 判別できなかったテストは「支持」に数えず、判別失敗として扱う 5. 残った候補と、次に何を確かめれば絞れるかを示す 【問題と、今わかっている事実】 (ここに、症状・観測・すでに試したことを書く)

ポイントは、2番の「判別マップを先に書く」ことと、3番で「反証だけで消す」よう縛ること。ここを外すと、モデルは最初にもっともらしい候補へ寄り、あとの検討をそれに合わせてしまう。

一度に多く消すテストの選び方

候補が多いと、一つずつ潰すのは手間がかかる。速く絞るコツは、「一回の結果で複数の候補が同時に消える」テストを先に選ぶことだ。

たとえば候補が四つあるとき、二つの候補に共通する前提を否定できるテストを打てば、当たれば二つ同時に消える。判別マップを作ったら、各テストが「最大でいくつの候補を消せるか」を見て、消去数の多いものから試す。総当たりより、この順序のほうがはるかに速い。

逆に避けたいのは、どの候補も生き残ってしまうテストだ。「もう一度実行する」のように多くの候補で同じ結果になる操作は、情報をほとんど生まない。結果が割れるテストほど価値がある。

やりがちな失敗

手順は単純だが、つまずく箇所は決まっている。

  • 先に順位をつける ― 「一番ありそうなのはA」と言った瞬間、Aが錨になる。候補出しの段階では優劣を判断しない。
  • 結果を見てから判別基準を決める ― 結果を見たあとに「これはAの証拠だ」と後付けすると、確証バイアスがそのまま入る。判別マップは必ず結果を見る前に固定する。
  • 比較で消す ― 「BのほうがもっともらしいからAを落とす」は反証ではない。矛盾する具体的な事実がないなら、候補は残す。
  • あいまいな結果を支持に読む ― どちらとも取れる結果を「Aの支持」と数えると、判別していないのに絞った気になる。判別できなければ判別失敗として扱う。

この手順が向く場面・向かない場面

向いているのは、候補が複数あって、しかも「試せば白黒がつく」問題だ。原因の切り分け、不具合の診断、条件を変えて確かめられる選択などが当てはまる。試せる手立てが多いほど、反証で速く絞れる。

逆に向かないのは、そもそも候補を試して確かめる手立てがない問題や、答えの枠組み自体が論点の問題だ。前者は反証のしようがなく、後者は「どの基準で見るか」を先に決める別の型(多角推論)のほうが向く。仮説収束は「複数の候補を、事実で一つずつ潰せる」ときに最も効く道具だ。

使いどきの合図も覚えておくと速い。もっともらしい候補がいくつも浮かんで決め手に欠ける、あるいは「たぶんこれだろう」という本命が一つ頭にある――特に後者は錨ができかけたサインで、そういうときこそ選ばずに、その本命を一度否定しにいく。

よくある質問

Q. 候補が多すぎて、全部は試せません。

一度に一番多くの候補を消せるテストから始めるのが効率的です。判別マップを見て、「この結果なら二つ以上が同時に消える」テストを優先します。総当たりではなく、消去数の多い順に試すと速く絞れます。

Q. AIが結局「Aだと思います」と最初の候補を推してきます。

順位づけを先にさせてしまっている可能性があります。プロンプトで「この段階では順位をつけない」と明示し、判別マップを先に書かせてから結果を照らす順序を守らせると変わります。

Q. 反証する事実が集まりません。

その場合は「どんな観測が得られれば、どの候補を否定できるか」をAIに列挙させ、まだ取れていない事実を洗い出すのが先です。反証消去は事実で候補を殺す手順なので、殺すための事実を集める設計が要ります。

Q. 判別マップを作る時間がないときは?

せめて「最初の候補を否定する事実は何か」を一つ考えるだけでも効果があります。全部の候補にマップを用意できなくても、本命だと思ったものを一度否定しにいく習慣が、思い込みの固定を防ぎます。

Q. すべての候補が反証をくぐり抜けたら?

候補の挙げ方が粗いか、必要な事実がまだ取れていない可能性があります。より細かい候補に分けるか、新しい観測を足してから、もう一度判別マップにかけます。全部残る状態は「まだ絞れていない」という正しい結論でもあります。

Q. AIが勝手に順位をつけて説明を始めます。

「この段階では順位をつけない」「まず判別マップを先に書く」と手順の順序を明示すると変わります。結果を見る前にマップを固定させ、そのマップに実際の結果を照らす、という順番を崩さないのがコツです。

「選ぶ」でなく「消す」

この記事の核――仮説収束――は、選び方を反転させることにある。「どれが一番ありそうか」で選ぶと、最初の見立てを追認しやすい。「どれが事実と矛盾するか」で消していくと、思い込みが入り込む隙が狭まる。前者は自信の高い候補を残し、後者は証拠に耐えた候補を残す。

残った一つは、選ばれたのではなく、消し損なった結果だ。この差は小さく見えて大きい。もっともらしさは、最も検査が必要なときほど当てにならない。絞り込みとは、賢く選ぶことではなく、丁寧に消すことに近い。

この違いは、証拠の集め方にも表れる。もっともらしさで選ぶ人は、本命を支える証拠を探しにいく。反証で消す人は、本命を殺せる証拠を探しにいく。前者は集めるほど確信が強まり、後者は集めるほど候補が減る。同じ「調べる」でも、向きが逆なのだ。AIに任せるときも、この向きを指示に埋め込むかどうかで、返ってくる結論の堅さが変わる。

最後に

候補を一つに絞る仮説収束は、勘の良さではなく手順の問題だ。もっともらしさで選ぶと、最初の候補に引きずられて外しやすい。だからこそ、候補を並べ、判別マップを先に固定し、反証だけで消していく。残った一つが、事実に耐えた候補になる。

候補をもっともらしさで選ばない仮説収束も、単独で効く技ではない。原因を追い切る残差監査、枠組みを疑う多角推論、食い違いを裁く統合ループと同じく、AIが早く一つに決めてしまう癖を手順で外している。四つをひとまとめにしたのが推論制御という考え方だ。

参考資料

本記事はAIツール図鑑編集部が、記載時点の情報をもとに執筆しました。引用した研究は各一次ソースを参照のこと。モデルの挙動は世代・設定により変わりうるため、手順は自分の環境で確かめたうえで用いることを推奨する。

タイトルとURLをコピーしました