CloudflareのAIコードレビュー、1回の費用を68%下げた手順を公開

Cloudflareは日本時間10月20日早朝、社内のマージリクエストを見るAIのコードレビューについて、1回あたりの費用を68%下げた経緯をブログに書いた。値下げ前の最も高かった2週間の平均2.43ドルが、今は0.77ドルになり、かかる時間の中央値も4分9秒から1分32秒に縮んだという。数字はすべて会社の申告で、同社の仕組みと使い方での結果だ。ほかの環境で同じだけ下がるかは分からない。

最初の1通がキャッシュに当たらなかった

エージェントを毎日たくさん回している人にとっての得は、どこを見ればお金が戻るかが具体的に書いてある点だ。Cloudflareのレビューは4月には1回1.19ドルだったが、8月末には約2.46ドルに倍増していた。仕組みは変えていない。モデルが賢くなり、エンジニアの変更が大きくなったこと、全員をAnthropicのモデルに移したことが重なった。

調べると、費用の43%はキャッシュへの書き込み、34%はキャッシュの読み出しで、出力は23%にすぎなかった。毎回の呼び出しが会話全体を送り直すためだ。さらに、どのリポジトリでも同じはずの最初の1万1000〜2万1000トークンが、キャッシュに当たっていたのは14〜26%だけだった。

原因は、使っていたOpenCodeの旧版がシステムプロンプトを1つの塊にまとめ、その後ろに作業フォルダーと日付を付けてから、キャッシュの区切りを1つだけ置いていたことだ。リポジトリごとに違う部分が混ざるので、共通の部分が使い回されなかった。Cloudflareは目印で塊を2つに分け、共通の部分だけに区切りを置いた。これだけで1回2.47ドルが2.02ドルになったという。

呼び出しを減らす小さな直し

次に、呼び出しの回数を減らす直しを重ねた。下位のレビュー役に、使えないはずの「最終コメントを書く」道具が見えていて、57〜76%の回で呼んでは断られていたので、道具ごと外した。ファイルを1つずつ読む代わりに、最初の返事でまとめて読ませた。同じマージリクエストの2回目以降のレビューでは、新しく見る物がない役を飛ばした。レビューを書き終えた後に、誰も読まないまとめを書かせる1回も止めた。

手が込んでいたのは、コード品質、セキュリティ、性能の3つの役に、道具と共通の決まりと変更の全文という同じ書き出しを送らせる直しだ。1つの役がキャッシュに書き、残りの2つはその返事が流れ始めるまで最大20秒待ってから読む。少し遅くなる代わりに、役ごとに約9セント浮くという。

取り消された仕事が止まらない問題もあった。取り消した446件のうち358件が最後まで走っていたので、15秒ごとに自分の状態を確かめて止まるようにした。社内の規約を見るレビュー役（社内で「Codex」と呼ぶが、OpenAIのCodexとは別物）は、参照ファイルを道具で3回読む代わりに、索引をプロンプトに入れて呼び出しを15.9回から9.6回に減らした。

半分以上はモデルと考える量の見直し

下がった1.67ドルのうち、コードの直しで減ったのは0.65ドルで、残りの1.06ドルはモデルと考える量（effort）の変更によるという。まとめ役はOpus 5からOpus 5.5の中程度に移した。Opus 5.5は1トークンも安いが、値段の差で下がったのは約0.20ドルで、残りは送るトークンと書くトークンが減った分だという。レビューの役はSonnet 5から5.5に移し、1トークンの値段は同じでも、1回あたり47〜62%安くなったとしている。前後の時間を比べただけで、きちんとした対照実験ではないと同社も書いている。

安くなって見落としが増えたかも調べた。コード品質の役は深刻な指摘の数が40%減ったが、作者が実際に直した指摘の割合は34%から59%に上がり、千回あたりの「直された指摘」はほぼ同じだった。一方、性能の役は中程度の考える量で大事な指摘を落としていて、次は高い設定を試すという。結論が出ないまま終わるレビューは0.79%から0.27%に減り、5分を超えるレビューは37.9%から0.7%になった（いずれも会社の申告）。

編集部の見方

この記事で一番使えるのは、68%という数字より、最初に確かめる2つの点だ。各セッションの最初の1通が本当にキャッシュを読んでいるか、そして払っている考える量で本当の問題を見つけているか。日付や作業フォルダーのように毎回変わる物をプロンプトの前の方に置いていないか、自分のエージェントでも一度見ておきたい。