8.12 ホールドアウト集合、ブラインド化、ヌル検査、クロスパイプライン再現：EFT を「物語上手な理論」にしないために

I. 本節の結論

この節では、新しい対象レベルの判定線は追加しない。補うのは、より冷たく、より硬く、EFT にとっても都合の悪い審査規律である。EFT が 8.4 から 8.11 で扱った赤方偏移残差、共有ベースマップの閉合、構造階層化、近事象地平面の細紋、境界デバイスの閾値、量子ガードレールを「支持」として記録したいなら、まず四つの統一的なガードレールを受け入れなければならない。ホールドアウト集合では口径の事後回収を許さない。ブラインド化では答えをのぞかない。ヌル検査では主結果と同じように有意になってはならない。クロスパイプライン再現では、単一路線に真実を独占させない。この四つの門がなければ、第8巻がどれほど鮮やかでも、なお高い説明力をもつ叙事にすぎない可能性がある。これらの門を通って初めて、それは審査を受ける意思を持つ候補理論らしくなり始める。

II. 対象層の後には、方法論の総ゲートを補わなければならない

前の 8.4 から 8.11 では、EFT が最も勝ちたい、同時に最も傷つきやすい対象レベルの戦場をすべて卓上へ並べた。クロスプローブの無分散共通項、TPR 主軸と PER 残差、回転—レンズ—合体の共有ベースマップ、構造発生学、原板と環境トモグラフィー、近事象地平面と境界の識別的シグネチャ、境界デバイスと強場真空、そして量子伝播と不可通信ガードレールである。これらについて「何を測るのか」「どの結果が支持か」「どの結果が構造的損傷か」だけを書くのでは足りない。EFT の言語そのものは説明力が強い。説明力の強い理論が最も恐れるべきなのは、事例が足りないことではなく、事例が多すぎるために、誰もが事後にそれを語り通せてしまうことである。

前文には、なお総ゲートが一つ欠けている。得点として記録したいどの結果についても、それが同じ方法論的ガードレールの下で勝ち取られたものなのかを、先に問わなければならない。この総ゲートを明示して初めて、後の総勘定は「直接支持」「引き締め」「構造的損傷」を区別する資格を持つ。そうでなければ、それは事後的に都合のよい事例を拾った功績簿へ滑りやすい。

III. 本節は新しい実験ファミリーを加えず、審査規律だけを補う

この節を統計学の教科書にしてはならない。そうすれば第8巻の温度は急に失われるし、この巻が本当に行うべき仕事からも外れてしまう。8.12 は、訓練集合、テスト集合、有意性、ベイズ因子、モデル平均とは何かを読者に教えるための節ではない。より辛辣な一つのことだけを行う。EFT が自分自身を騙さないようにするには、どうすればよいのかである。

したがって、8.12 の四つの規則は、互いに孤立した技術操作ではない。同じ総規律をめぐって配置されている。事前に口径を凍結し、事後には記帳だけを許し、口径変更を許さない。サンプルをどう選ぶのか、どの対象を主サンプルに入れるのか、どの周波数帯や赤方偏移層をホールドアウトのみにするのか、どの環境指標を主分析に入れるのか、どの除外条項が有効なのか、どの採点規則を命中とみなすのかは、主結果を見る前に書き切らなければならない。この一歩がなければ、ホールドアウト集合はこっそり食われ、ブラインド化は演出になり、ヌル検査は最も弱いものだけ選ばれ、クロスパイプラインも「同じ偏見を二度走らせる」だけになる。

同じく重要なのは、役割を分けることである。第8巻の多くの実験と観測は、実は共通の骨格を採りやすい。フィードフォワード群は、環境、幾何、凍結済みの代理量だけに基づいて予測カードを出す。測定群は、そのカードの内容を知らずに読出しを抽出する。仲裁群は最後にだけ、事前登録された採点表に従って予測と結果を照合する。すべての線がこの三群を機械的にそのまま採る必要はない。だがこの骨格は、本節の最も重要な一点を思い出させる。予測は美しい図より先になければならず、規則は美しい物語より先になければならない。

IV. 第一のガードレール：ホールドアウト集合――結果で口径を呼び戻してはならない

8.12 におけるホールドアウト集合は、穏やかな「汎化能力チェック」ではない。事後回収を防ぐための刃である。EFT が最も犯しやすい誤りは、信号をまったく見えないことではない。少し方向が見えたあとで、サンプル、環境の階層分け、閾値、背景口径、フィットファミリーをさらに調整し、その小さな方向が美しい図へ成長するまで手を入れたくなることである。ホールドアウト集合の意味は、この退路を塞ぐことにある。訓練部分で口径を決めることはできる。しかし、留めておいた一片を持ち帰って、すでに述べた言葉を修理してはならない。

宇宙論ブロックでは、ホールドアウト集合は、ある赤方偏移窓、あるソース種、一つの天域、一つのサーベイ版、あるいは独立した距離チェーン全体であってよい。極端宇宙ブロックでは、いくつかの対象、いくつかのエポック、いくつかの方位区間、いくつかの合体団、あるいは環境等級であってよい。実験室と量子ブロックでは、あるパラメータ窓、ある材料群、一台の装置、あるいは閾値近傍にありながらラベルを公開していない一群の走査段であってよい。形は違っても、規律は一つである。ホールドアウトは検証だけを行い、逆向きの調参を行わない。

本当に EFT に加点するホールドアウト結果とは、訓練集合で一度見た傾向がホールドアウトでも「少し似ている」ことではない。方向が反転せず、順位づけが散らず、口径が変わらないことである。たとえば 8.4 の共通項が本当に無分散の共通ベースカラーであるなら、ホールドアウトされた周波数帯、事象窓、観測局へ移しても、少なくとも同方向・同窓を保つはずである。8.5 の TPR 主軸が本当にベースカラーを受け持てるなら、ホールドアウトされたソース種や天域へ移しても、汎用 alpha がすぐに口径を変えることはない。8.6 の共有ベースマップが本当に個別例の貼り合わせでないなら、凍結後のベースマップをホールドアウト対象へ適用しても、ただちに別の補丁一式を求めることはない。逆に、傾向がホールドアウトに入った途端に反転し、順位を失い、あるいはサンプルを選び直さなければ維持できないなら、それはもはや主結論ではなく、手がかりへ降格させるしかない。

もう一言、ここで書いておく必要がある。ホールドアウト集合は、「最も通りやすい一片」だけを残してはならない。もし理論が、最もきれいで、最も馴染みがあり、最も見栄えのよいサンプルを最後に残し、高リスクの天域、較正しにくい周波数帯、複雑な対象、閾値近傍のパラメータ窓を訓練部分で繰り返し試してしまうなら、いわゆるホールドアウトはすでに汚染されている。本当のホールドアウトは、理論の顔を最も強く打つ可能性のある単元を、意識して含まなければならない。第8巻の目標は勝率を高く書くことではなく、勝敗条件を硬く書くことだからである。

V. 第二のガードレール：ブラインド化――美しい図より先に予測を発言させる

ブラインド化の価値は、形式的に「より科学的」に見えることにあるのではない。それは理論に、本当に危険を引き受ける部分を前もって語らせることにある。EFT には、図を見たあとで説明を一文足したくなる場所があまりにも多い。共通項が環境増強に見えるので、環境増強は以前から予期されていたと言う。ある偏りがノード環境でだけ強いように見えるので、骨格はもともとそうあるべきだったと言う。あるプラットフォームが閾値後プラトーを示すので、これはまさに閾値離散に似ていると言う。これらの文が結果を見る前に書かれていなかったなら、それは予測ではなく、見返したときの修辞にすぎない。

したがって 8.12 が求めるブラインド化は、ファイル名を隠したり、サンプルラベルをシャッフルしたりするだけのものではない。EFT にとってより重要なのは、フィードフォワード—測定—仲裁という構造化されたブラインド化である。フィードフォワード段階では、理論は凍結済みの環境指標、幾何情報、材料パラメータ、履歴台帳だけに基づいて、「どの階層が強く、どの階層が弱いのか、同方向を予期するのか反方向を予期するのか、無分散性を保つべきか、同じ窓で顕影するべきか」という予測カードを書く。測定段階では、信号を抽出する担当者は、そのカードに何が書かれているかを知らない。仲裁段階で初めて、第三者が凍結された規則に従い、命中、逆向き、空撃ちを統計する。ここまでして初めて、EFT は本当に自分の首を賭けていることになる。

ブラインド化の具体的な姿は、ブロックによって大きく異なってよい。8.4 と 8.5 では、環境階層とソース種ラベルをブラインド化できる。8.6 から 8.9 では、骨格方向場、合体位相、コールドスポット階層、近事象地平面の方位テンプレート、対象分類をブラインド化できる。8.10 と 8.11 では、材料ロット、閾値段階、駆動順序、リンク清浄度等級、さらにはホールドアウト・パラメータ窓に属するかどうかをブラインド化するほうが適している。鍵は形式の統一ではなく、同じ規律の統一である。まず何が起こるかを言い、その後で本当に起こったかを見る。先に何かを見てから、自分は最初からそう知っていたと言ってはならない。

ブラインド化には、見落とされやすいもう一つの価値もある。それは、EFT にフィードフォワードで予報できるものと、事後に説明できるものを区別させることである。この二つは紙面ではどちらも「当てた」ように見える。しかし科学的地位はまったく違う。前者は結果が出る前に危険を引き受けて賭ける。後者は結果が出た後に、それを収容する文法を探す。8.12 が守ろうとしているのは、まさに前者である。勝率を本当に変えられるのは、前者だけだからである。

VI. 第三のガードレール：ヌル検査――偽像を新しい物理と誤判定しない

EFT の多くの判定線は、「弱いが規律をもつ」構造を読むことを好む。無分散共通項、環境単調性、同位スケーリング、閾値後プラトー、フィードフォワード命中、クロスプローブの共有ベースマップである。これらの信号は、多くの場合、総量として圧倒的に大きいものではなく、むしろ順位、符号、同窓、残差、階層として現れる。だからこそ、システマティクス、選択関数、較正ドリフト、テンプレート偏り、分析チェーンの習慣によって、密かに偽造されやすい。ヌル検査の役割は、これらの偽像のために専用の法廷を立てることである。

十分に硬いヌル検査には、少なくとも二種類が含まれていなければならない。

ヌル検査は脇役ではない。附録で通過儀礼のように済ませてよいものでもない。8.4 では、時間反転、周波数帯置換、分散対照が同じように「ゼロ時間遅れ共通項」を与えるなら、主結果はそもそも立たない。8.6 と 8.7 では、骨格をランダム回転させたりベースマップを乱したりしても、いわゆる共線性と共有ベースマップがなお成立するなら、結果はアルゴリズム偏りに近い。8.9 では、近事象地平面の細紋が、撮像口径やテンプレート方位を替えても同じように有意になるなら、識別的シグネチャは処理チェーンを食っているだけである。8.10 と 8.11 では、代替構成、ダミー負荷、空洞、古典照合の切断、偽閾値制御が同じように「新信号」を与えるなら、いわゆる新物理は装置の中で回っているだけである。主結果がヌル検査の前で特異性を保てないなら、支持へ格上げする資格はない。

さらに、ヌル検査の外側には陽性対照も必要である。つまり、フローは「EFT 構造がない」ときに正しく失敗できるだけでなく、「既知構造が注入される」または「既知物理が現れるべき」場合に正しく成功できなければならない。あるパイプラインが偽像を壊すことも、既知信号を復元することもできないなら、その主結果にはどんな採点資格もない。第8巻のヌル検査は、単なる揚げ足取りではない。「成功すべきときに成功し、失敗すべきときに失敗する」ことを同時に固定するのである。

VII. 第四のガードレール：クロスパイプライン再現――単一路線に真実を独占させない

第8巻で最も危険な勝利の一つは、「データ処理ルートを替えると成立しなくなる」タイプの勝利である。EFT が関心を寄せる多くの量は、そもそも複雑な抽出チェーンに依存する。背景差し引きをどう行うか、骨格をどう抽出するか、レンズをどう反転するか、リング像をどう再構成するか、閾値をどう識別するか、生のストリームをどう同期するか、雑音と後選択をどう分けて記帳するか。これらのどこか一段でも、あるチームの既定の習慣に強く依存しているなら、単一パイプライン内の美しい結果は、決して自動的に物理結論へ格上げされない。

したがって、8.12 でいうクロスパイプライン再現とは、同じコードをランダムシードだけ替えて二度走らせることではない。それが要求するのは、本当の独立性である。独立した前処理チェーン、独立した背景モデル、独立した骨格または画像再構成法、独立したフィットファミリー、独立した較正経路であり、できれば独立したチーム、独立した機関、独立したハードウェア版も加わる。天文データでは、異なるサーベイ成果物、異なる撮像または反転パイプライン、異なるマクロモデル集合が、同方向の結論を与えなければならないことを意味する。実験室データでは、異なる装置、異なる制御ソフトウェア、異なるデータ収集および事後処理チェーンが、結果を任意に反転させてはならないことを意味する。

EFT はここで、すべてのパイプラインが数値としてまったく同じ答えを出すことを求めているわけではない。本当に必要なのは、もっと素朴で、同時に偽造しにくいものである。主符号が一致し、主順位が一致し、主構造が一致することだ。ある信号が、特定の背景差し引き、特定の再構成正則化、特定のテンプレート基底、特定の後選択窓でしか成立せず、他の合理的なパイプラインが来るとすぐ散ってしまうなら、第8巻が最も正直に書くべきなのは、「議論はあるが有望」ではない。「現時点では処理チェーン依存の手がかりにすぎない」である。

クロスパイプライン再現は、最終的には台帳公開と再計算可能性へ落ちなければならない。すべてのチームが全中間ファイルを一度に無留保で公開しなければならない、という意味ではない。しかし少なくとも、外部の再検証者が重要な意思決定点を見られる必要がある。どのサンプルが除外されたのか、どのパラメータが凍結されたのか、どのホールドアウト単元に触れていないのか、どのヌル検査が失敗したのか、どの独立パイプラインが同意しなかったのか。これらの台帳が元チームだけの手にあるなら、外部世界は「これは複雑な現象なのか」それとも「複雑なプロセスなのか」を見分けにくい。

VIII. なぜ四つのガードレールは並列に通す必要があり、それぞれの通過儀礼で済ませてはならないのか

ホールドアウトだけを行いブラインド化を行わないなら、人は先に傾向を見てから、きわめて「合理的」なホールドアウトを選べてしまう。ブラインド化だけを行いヌル検査を行わないなら、答えを盗み見していなくても、システム偽像を驚きとして受け取ってしまうかもしれない。ヌル検査だけを行いクロスパイプラインを行わないなら、ある分析ルートが主結果とヌル検査の両方に同じ偏りを持ち込める。クロスパイプラインだけを行いホールドアウトを行わないなら、複数チームが一緒に訓練集合を神託に近いほど過学習している可能性がある。四つのガードレールは四つの飾りではなく、一条の鎖である。

したがって 8.12 は、よくある補償論理を明確に拒否しなければならない。「ホールドアウトはしていないが、ブラインド化はした」「ヌル検査は普通だが、クロスパイプラインはかなり一致している」「独立再現はまだないが、訓練集合では非常に美しい」。このような採点法は、宣伝では役に立つかもしれないが、監査では違反である。第8巻は「総合印象点」を取りに来ているのではない。最も不利な規則の下でも立っていられるかを争っている。重要な門のどれかを通っていないなら、別の門での美しい成績で相殺してはならない。

IX. この四つのガードレールを 8.4 から 8.11 へどう沈め込むか

8.4 と 8.5 に落とすなら、四つのガードレールの核心任務は、「共通項」と「TPR/PER の帳簿分け」が事後に縫い合わされるのを防ぐことにある。ここでのホールドアウト集合は、ソース種、天域、周波数帯、事象窓を留めるのが望ましい。ブラインド化では、環境予測カードと主量—残差の帳簿分け規則を先に凍結しなければならない。ヌル検査では、分散則の代用品、時間反転、ラベル置換、観測局置換を優先する。クロスパイプライン再現では、少なくとも赤方偏移処理チェーン、時間遅延処理チェーン、独立距離チェーン、レンズモデリングチェーンを覆わなければならない。これらのガードレールが揃わない限り、8.4 と 8.5 は容易に「この図も似ているし、あの図も語れる」へ滑り戻る。

8.6 から 8.9 に落とすなら、四つのガードレールの任務は、「共有ベースマップ、骨格方向、近事象地平面細紋、境界の識別的シグネチャ」が画像解釈学へ堕ちるのを防ぐことである。ここでのホールドアウト集合には、対象、エポック、赤方偏移層、合体位相、視線単元の留保をより多く使うべきである。ブラインド化は、骨格方向場、環境等級、方位テンプレート、対象分類、識別的予測カードにかけられる。ヌル検査では、テンプレート回転、ランダム骨格、ランダムマスク、軸外対照、偽ホットスポット / 偽コールドスポット、平行移動と再サンプリングを特に強調する。クロスパイプライン再現では、異なる骨格アルゴリズム、異なる質量再構成、異なる撮像案、異なる時間遅延抽出チェーンが、同時に同方向の結論を与える必要がある。

8.10 と 8.11 に落とすなら、四つのガードレールはいっそう緩めてはならない。実験室ブロックは、「信号は非常に美しいが、実はこの一組の装置と処理スクリプトの中でしか成立しない」という偽の勝利を最も起こしやすいからである。ここでのホールドアウト集合は、丸ごとのパラメータ窓、材料群、装置、チップロットであってよい。ブラインド化は、閾値段階、材料ラベル、駆動順序、リンク清浄度等級にかけられる。ヌル検査には、代替構成、空洞、ダミー負荷、逆極性、断線対照、時間ずらし、注入回収を必ず含める。クロスパイプライン再現は、機関横断、ハードウェア横断、制御ソフトウェア横断へ進めるのが望ましく、特に原始台帳と後選択台帳は二経路で公開されるべきである。そうして初めて、第8巻は工学的偶然性を EFT の新しい資格として誤記せずに済む。

X. どのような方法論的結果が、本当に EFT を支持するのか

8.12 の視点から見れば、本当に EFT を支持するのは、ある種の対象が「EFT らしく見える」ことではない。EFT が最も不利な規則を受け入れた後でも、複数の判定線で構造的な命中を勝ち取ることである。具体的には、少なくとも次のいくつかが同時に現れなければならない。

これらの条件が孤立した一つの細線でだけではなく、8.4 から 8.11 の複数ファミリーをまたいで同時に成り立つなら、EFT は初めて、「物語を語るのがうまい理論」という最も危険な評価から本当に抜け出す。なぜなら、そのとき EFT は対象を説明できるだけではなく、自分の説明権を方法論によって圧縮されることを受け入れているからである。さらに重要なのは、圧縮された後にも、なお何かが残るという点である。

もう一点、硬く書いておかなければならない。方法論的支持そのものにも階層がある。最も弱い層は、ある結果がガードレールの前で転ばなかった、というだけである。より強い層は、転ばないだけでなく、フィードフォワード命中、ホールドアウトでの堅牢性、ヌル検査との分離、チーム横断の同方向性という四連閉合を自ら示すことである。第8巻が本当に必要とするのは前者ではなく、後者である。前者は、EFT が手続き上の誤りをまだ捕まえられていないことを示すだけだが、後者は、EFT が手続き上の信用を獲得し始めたことを示すからである。

XI. どの結果は引き締めにとどまり、ただちに退場とはならないのか

方法論上の困難がすべて、ただちに EFT を書き直し領域へ叩き戻すわけではない。いくつかの結果は、廃棄ではなく引き締めに近い。

XII. どの結果が直接に構造的損傷を与えるのか

方法論上の構造的損傷には、しばしば過小評価されるもう一つの形がある。規則がいつも結果が出た後でアップグレードされる場合である。今日は同方向を見ると言い、明日は順位を見ると言い、明後日は強環境の部分サンプルだけを見ると言う。今日は二本のパイプラインで十分だと言い、明日は不一致が出たため一方だけを信じると言う。今日は天域をホールドアウトすると言い、明日は反転したため周波数帯をホールドアウトに変える。このような「規則が結果を追いかける」現象が長期に存在する限り、8.12 はそれを重傷と判定しなければならない。EFT がまだ自分を固定された規則に委ねることを学んでいない、という意味だからである。

XIII. どの状況は今日の段階ではまだ判定できないのか

合理的だが危険な未判定ももう一つある。対象があまりに稀で、プラットフォームがあまりに高価で、再現実験の周期があまりに長い場合である。たとえば、ある近事象地平面の細紋、極端合体、高コストの量子リンクは、通常実験のように多機関再現をすぐ完了できないのは確かである。この場合、8.12 は一時的に「証拠密度不足」を認めてよい。しかし、それを「したがって先に支持として記帳してよい」へすり替えることは許さない。第8巻の文法では、高価であること、稀であることは判定を遅らせるだけであり、勝率を上げることはない。

XIV. 「説明できる」を「審査に耐える」と取り違えてはならない：本節で最も重要な転換

この節が補うのは、いくつかの追加技術要件ではない。全巻の姿勢を、解釈学から審査学へ移すことである。解釈学が最も得意なのは、新しい対象ごとに、それを置ける一文を見つけることである。審査学はその反対である。先に自分を縛り、その後で自分に何が残るかを問う。EFT のようにベースマップを書き換えようとする理論にとって、この転換はとくに重要である。EFT は語れるほど、先に黙ることを学ばなければならない。語り通せるほど、最も不利な規則を先に受け入れなければならない。

これこそ、本節で最も記憶されるべき意味である。反証の本当に怖いところは、敵がどれほど強いかではない。自分自身が最も不利な規則で自分を審査する意思を持つかどうかにある。EFT がそうしないなら、たとえ他者が一時的に反論できなくても、なお物語をうまく語れるだけである。反対に、最も不利な規則の下で一部の窓だけを勝ち取るとしても、その部分的な勝利は、ガードレールを通っていない一巻分の美しい説明よりも重い。

XV. 本節の小括

第8巻が成立するかどうかは、何を見たかだけで決まるのではない。ホールドアウト集合、ブラインド化、ヌル検査、クロスパイプライン再現という四つの門の前で、EFT が先に自分を不利にできるかどうかによっても決まる。EFT がまず、この自分にとって居心地の悪い規則を受け入れて初めて、その後に得るどの支持も、自己叙事の反響にとどまらなくなる。