AlphaGenome 2の「約2倍」は全体の2倍ではない　精度90%の上位で効く数字

「前作の約2倍」と聞けば、モデルが全体に2倍賢くなったと思いたくなる。

米GoogleのAI研究部門Google DeepMindは11月12日、DNAの配列から遺伝子の働きを予測するモデル「AlphaGenome 2」を、公式ブログと論文で公表した。ブログは冒頭近くで、細胞の中で遺伝子の発現を変える変異を、前作のほぼ2倍見つけると書いている。

だが、その数字は誤りの少ない上位の候補だけを使う場面での数だ。全体の出来を表す指標で前作と比べると、差は0.76対0.72にとどまる。

「約2倍」は精度90%を保った時の再現率だ

では、全体に2倍賢くなったと受け取ってよいのか。答えは、数字が何の割合かを見れば分かる。

論文の評価は、28種の免疫細胞を測った単一細胞のデータ「TenK10K」を使う。統計の手法で原因と推定された6346個の変異と、距離の条件をそろえた同じ数の対照の変異を混ぜ、モデルが原因の方を見分けられるかを測った。変異は学習に使っていない染色体から選び、TenK10K自体もAlphaGenome 2の学習には使っていない。

30%は、モデルが「原因だ」と判定した物の9割が正しい状態を保ったまま、原因の変異を拾えた割合だ。比べた相手は、前作を同じゲノムの分け方で単一細胞のデータに追加学習（fine-tune）させたモデルで、16%だった。効果の向き、つまり発現を上げるか下げるかの予測でも、同じ条件で23%から43%に増えた。

開発チームも論文の要旨で「精度90%での再現率を2倍にした」と書く。

ブログの条件を付けない言い方と論文の言い方の間には、「精度90%」という前提が1つ挟まっている。

全体で比べると差は0.76対0.72に縮む

精度の条件を外し、精度と再現率の釣り合いを全域でならした指標AUPRCで見ると、差は小さい。TenK10Kでの2つのモデルの数字は次のとおりだ。

単一細胞向けの専用モデル「Scooby」は、同じデータでAUPRCが0.69、向きのAUCが0.77だった。全体の指標の差は数ポイントにとどまり、開発チーム自身も、伸びが最も大きいのは精度と正答率を90%に保つ帯だと論文に書いている。

組織をまとめて測ったデータでも傾向は同じだ。GTExの49組織では、精度90%での再現率は前作の17%から26%に上がったが、AUPRCは前作の0.72から0.74への伸びだった。

AlphaGenome 2は全体に2倍よく当たるモデルではなく、自信を持って挙げる上位の候補の厚みが2倍近くになったモデルだ。

この違いは使い道に効く。Google DeepMindはブログで、予測が研究者の「次にどの実験をするか」の優先づけを助けるとしている。実験に回せる候補の数が限られる場面では、誤りの少ない上位がどれだけ厚いかが、全体の平均よりも効いてくる。

作りを変えた効果は、トラックの予測で確かめた

前作は、100万文字のDNAを読み、組織や細胞株ごとの予測を決まった並びで一度に出していた。Google DeepMindは、このやり方は効率がよい反面、モデルの力を薄く分け、近い細胞の型の細かな差をとらえにくかったと説明する。

AlphaGenome 2は逆に、「どの組織・細胞の型・状態か」という条件を1つ受け取り、その条件の予測だけを出す。学習には1億700万を超える細胞のプロファイルを使い、論文によると36の研究の3977本の単一細胞のデータを足した。

データを増やしたから良くなっただけではないか。開発チームは、AlphaGenome 2と同じbulk（組織をまとめて測ったデータ）で前作の作りを一から学び直させ、学習に使っていないゲノムの区間で比べた。遺伝子発現の変化の予測でも、ヒストン修飾や転写因子の結合する位置の予測でも、AlphaGenome 2が一貫して上回った。

条件を入れる場所を絞った5つの構成も比べている。出力やデコーダ（予測を細かい解像度に戻す部分）にだけ条件を入れても伸びは小さく、主な改善はtransformerとencoder（配列を読む前半）に入れたことから来た。標準のAlphaGenome 2は、encoder、transformer、デコーダの3か所に条件を入れる。

ただし、この切り分けはトラック、つまり区間ごとの測定値の予測で測った結果だ。学び直した前作には、足した単一細胞のデータをそろえていない。

精度90%での16%から30%について、データと作りの寄与を分けた数字は論文に無い。約2倍そのものについて言えるのは、比べた相手が同じゲノムの分け方で単一細胞のデータに追加学習済みの前作だ、という点までになる。

高い精度で拾えるのは、まだ一部だ

では、手放しで信じてよいのか。開発チームは限界として、高い精度では原因と推定された変異の少数しか拾えないと論文に書く。

30%は、裏返せば7割を取りこぼしているということだ。

開いたクロマチン（DNAがほどけて読まれやすい部分）の外にある変異、遺伝子からとても遠い領域の変異、転写の後の仕組みで効く変異は、効果を小さく見積もりやすい。開いたクロマチンの外では、向きの予測のAUCは最大0.63だった。

刺激を受けた細胞や病気の状態の細胞は、学習データに少ない。遺伝子を壊したり増やしたりした時の反応を予測できるかも分からない、と論文は書く。

評価のデータと比べる相手を選んだのも開発元自身だ。

AlphaGenome 2は研究用で、臨床や診断の目的では検証も承認もされていないと、Google DeepMindはブログで断っている。

倍の数字は、どこで測ったかで読む

発表の「約2倍」は誤りではない。だが、それは精度90%の上位という条件付きの数字で、全体の当たり方は前作より少し良くなった程度だ。

新しいモデルの「倍」を聞いた時は、どの精度の帯で、何と比べて測ったかを確かめてから受け取りたい。

試す人のための一歩もある。AlphaGenomeのAPI資料によると、非商用の研究なら無料で使え、商用の研究はprivate preview（限定公開）の段階だ。インストールの手順は「pip install alphagenome」で、無料のAPIキーがあれば手元にGPUは要らない。

始め方の手順のとおり1回の呼び出しは1つの条件ぶんなので、細胞の型を比べるなら条件の数だけ呼ぶことになる。条件ごとに予測し直す分、決まった並びで一度に出すモデルより計算は重い、と論文は書いている。