会話の途中でモデルを替えるとキャッシュ代はどうなるか　推論の強さの切り替えと比べる

CodexとChatGPTを担当するTibo氏（@thsottiaux）が10月23日（米国時間）にXで、Codexで会話の途中に推論の強さを変えてもキャッシュが外れなくなったと明かした。では、推論の強さではなくモデルそのものを途中で替えると、入力代はどうなるのか。OpenAIの手引きの単価をもとに、長い会話の次の1回にかかる入力代を比べた。

比べる前に決めておく前提

Tibo氏の投稿が触れたのは推論の強さだけで、モデルを替えた時の扱いには触れていない。そこで以下は、OpenAIのプロンプトキャッシュの手引きにあるAPIの単価で計算する。

手引きによると、GPT-5.6以降のモデルでは、キャッシュから読んだ入力は通常の入力の0.1倍（GPT-6.1 Solは0.05倍）、キャッシュへの書き込みは既定の30分の保持で1.25倍になる。キャッシュは前回と頭から同じ部分だけを使い回す仕組みで、途中の中身や設定が変わると、そこから後は使い回せない。

例として、指示とそれまでのやり取りが10万トークンたまった会話で、次の1回を送る場面を考える。金額は会社やモデルで違うので、通常の入力10万トークン分を1として比べる。出力の代金と、モデルごとの単価そのものの違いは、この比べ方には入れていない。モデルを替えると単価そのものも変わるので、実際の額は使うモデルの料金表で確かめたい。

次の1回にかかる4つの場合の入力代

1つ目は、何も変えずに続ける場合。10万トークンがキャッシュから読まれ、0.1で済む。

2つ目は、推論の強さを手引きの方法で変える場合。手引きは、GPT-6系のモデルでは最初の推論の強さの設定はそのままにして、会話の後ろに「設定の更新」を足せば、それまでの部分を使い回せるとしている。これも0.1で済む。

3つ目は、最初の推論の強さの設定そのものを書き換える場合。手引きは、この設定を変えると見えない所の指示が書き換わることがあるとしている。頭に近い所が変わると10万トークンを書き込み直す形になり、1.25かかる。

4つ目は、モデルを替える場合。手引きは、モデルが違うと重みもキャッシュの扱いも違い得るとしている。替えた先では使い回せないと見ると、替えた先がGPT-5.6以降なら書き込み直しで1.25、それより前のモデルなら書き込みの追加料金が無いので1になる。

1つ目と4つ目の差は12.5倍だ。会話が長いほど、この差は1回ごとに大きくなる。

替えた後で元のモデルに戻す場合、手引きによると、元のモデルで書いた分は最低30分は読み込みの単価の対象になる。戻した時に、切り替える前までの部分が頭から同じままなら、そこまでは0.1で読める見込みがある。ただし、切り替えた後のやり取りの分は、元のモデルではまだ書かれていない。また手引きは、使い回せる最短の長さもモデルごとに違うとしている。

10回のやり取りで比べると

手引きは、同じ前置きを1回書き込んで9回使い回すと、10回分の入力は通常の2.15倍で済み、キャッシュが無い時の10倍と比べて大きく下がると説明している。これを先ほどの10万トークンの会話に当てはめ、10回のうち3回でモデルを替えたとする。替えるたびに使い回せないと見ると、その3回は0.1ではなく1.25になり、合計はおよそ5.6倍になる。何も替えない時の2.15倍の倍以上で、10回とも推論の強さだけを変えた時と比べても差ははっきり出る。

保持を12時間にする設定を選ぶと、書き込みは通常の2.5倍になる。替えるたびに書き込み直す使い方では、12時間の保持はかえって高くつく。

代金のほかに効いてくること

キャッシュが外れると、代金だけでなく返事が始まるまでの時間も延びる。手引きは、キャッシュの利点の1つに、返事が始まる前の処理の時間が減ることを挙げている。モデルを替えた直後の1回が遅く感じるのは、この書き込み直しのためと考えられる。

また手引きによると、キャッシュから読んだ入力も、1分あたりに使える入力の量の上限には数えられる。代金は下がっても、上限への当たりやすさは変わらない。会話の要約（コンパクション）も、それまでの部分を置き換えるのでキャッシュが効きにくくなる。ただ手引きは、入力の量そのものが減れば、キャッシュの当たる割合が下がっても安くなることがあるとしている。

切り替えを安く済ませるための手順

手引きには、会話の頭を変えずに済ませるための手立てがいくつか載っている。モデルや推論の強さのほかにも、道具の定義を外したり並べ替えたりすると、頭に近い所が変わってキャッシュが外れる。手引きは、道具を使わせたくない回は定義を消さずに、呼べないように指定する方法を勧めている。使える道具だけを絞る指定も、定義の一覧はそのまま残せる。

過去のやり取りを書き直さず、新しいやり取りを後ろに足していくことも大事だとしている。日付や利用者ごとの中身など、毎回変わる情報は頭ではなく後ろに置く。GPT-5.6以降では、1,024トークンより短い前置きはキャッシュされない。

編集部の見方

長い作業の途中で「ここだけ強いモデルに」と替えるのは、Claude CodeやCodexで作る人がよくやる使い方だ。ただ、キャッシュの面から見ると、推論の強さを変えるのとモデルを替えるのでは入力代が10倍以上違い得る。重い所だけ強くしたいなら、まず推論の強さで足りるかを試し、モデルを替えるのは区切りの良い所でまとめて行うのが割に合う。Codexの画面の中でモデルを替えた時の扱いは公式に書かれていないので、APIなら応答の使用量にあるキャッシュから読んだ数で、自分の作業で確かめたい。