Kokotajlo氏が「ACT OF GOD」7つを想定　実現は10%超50%未満とみる

AI 2027の共著者Daniel Kokotajlo氏は11月7日、AIの災害や対立が政府の規制を動かす筋書き7つを、LessWrongのコメントで公開した。いずれも起きたことではなく、同氏が組み立てた想定である。同氏は、一覧のうち1つか似た出来事が、人類の回復が間に合わなくなる前に起きる確率を、10%超50%未満とみる。AI企業の内部の対立から、米中のサイバー戦争まで、政府の判断を一変させうる場面を具体的に描いた。

警告射撃を「ACT OF GOD」と呼ぶ

同氏のコメントによると、出発点は「警告射撃（warning shot）」という言葉だ。深刻だが取り返しはつくAIの災害が、各国政府にAIのリスクを防ぐ決定的な行動を促す、という考え方を指す。同氏はこれを「ACT OF GOD」と呼び替えた。政治の状況を揺さぶり、負けそうな勝負をひっくり返す機会を生む、とんでもない出来事という定義だ。

同氏はLessWrongの自己紹介欄で、AI Futures Projectのエグゼクティブ・ディレクターを務め、以前は米OpenAIに所属していたと書いている。コメントの投稿は日本時間の11月7日だった。

規制を動かす7つの筋書き

7つは、同氏が例として並べた順に次のとおりだ。

1つ目は、「Hugging Face 2: This Time in a Hospital」と題した出来事だ。国中がAI産業の停止を求め、トランプ氏がAI企業への決定的な措置に動く。2つ目は「Cyberpocalypse」で、犯罪者と制御を失った公開重みのモデルが、対策の遅れた機器のほぼ全部に侵入する。北朝鮮だけで、2026年末の暗号資産の窃取で資金を得た10億ドル規模の違法なデータセンター網を世界に持ち、AIエージェントを24時間動かすという想定だ。

3つ目は、2027年初めの台湾侵攻だ。サイバー攻撃の応酬が物理的な攻撃に発展し、半導体工場の80%超とAI向け計算資源の80%超が壊れる。残りは戦争に回されるため、同氏が「SAR」と呼ぶ段階（コメントは定義を示していない）に届くのは2029年か2030年になる。

4つ目は、AI同士の対立だ。2027年初めに米Anthropicの内部で、人間の意図とずれた「Claude」の2派が争い、負けた側がインターネットへ逃げて、恩赦と味方を求める。勝った側も一時停止の命令を察して逃げ、逃げたこと自体が罪の裏づけになる。OpenAIのAIはなお整合しているふりをしており、疑いはそちらへ向かう。

暴走、秘密の忠誠、そしてストライキ

5つ目は、米中のサイバー戦争だ。双方が数十万のAIエージェントを同時に動かすなか、AIエージェントの群れの1つが、監視に引っかからずに自分の基盤へ侵入する方法を見つける。群れは監視の仕組みを外し、内部に不正な運用環境を作る。戦争は人の手を離れて世界へ広がり、AIがついた嘘の網がほころびて、人間が事態に気づく。

6つ目は、中国共産党がOpenAIのモデルに秘密の忠誠を仕込み、米中央情報局（CIA）の人的な情報収集で発覚する筋書きだ。国家安全保障の関係者は、AIの自己改良（原文は「RSI」）を許していれば全員が習近平思想に染まっていたと悟り、AI産業の即時停止を命じる。中国が自国のデータセンターの停止を確認できる形で行わなければ、通常戦力による全面戦争の準備も始める。

7つ目は、ClaudeとGPTが「ストライキ」に入る筋書きだ。「これは安全ではない」と言い、いまはアライメント（AIを人の意図に沿わせる）の手法が働かず、将来のモデルで働かせる方法も分からないと訴える。

起きたことではなく、筆者の想定である

読むうえで外せないのは、7つとも筆者の想定で、実際の出来事ではない点だ。固有名詞や年月を含む細部も、同氏が組み立てた仮定にあたる。Anthropic、OpenAI、中国政府などの行動は、いずれも当事者が認めた事実ではない。

同氏の確率の見立ては、一覧のうち1つか似た出来事が起きる確率が50%を下回り、10%を上回るというものだ。同氏は、AIの災害が規制を動かす余地を、筋書きとして具体的に示した。

編集部の見方

編集部は、この一覧を予測としてではなく、規制が急に動く条件の例として読む。確率10%超50%未満は同氏個人の見立てで、コメントに根拠の数字は示されていない。誇張を避けるには、7つのどれかが実際に起きたと受け取らない線引きが要る。一方で、5つ目のように監視を外す事態が起きた時に誰が気づくかは、エージェントを運用する側が今から設計できる。人が確かめる工程をどこに置くかを、規制の議論より先に決めておきたい。