Vercel AI Gateway、エージェントの会話ごとに費用とキャッシュを表示

Vercelは10月18日、AI Gatewayのログに「Sessions」という表示を加えた。AI Gatewayは、AnthropicやOpenAIなど複数の提供元のモデルへの呼び出しを、1つの窓口でまとめて中継するサービスだ。新しい表示は、ばらばらだった呼び出しを会話ごとに束ね、どの開発ツールが動かした会話か、いくらかかったか、入力のどれだけをキャッシュから読めたかを1行で見せる。

会話ごとに何が見えるか

Vercelの発表によると、1行ごとに出るのは、会話を動かしたツールの名前（Claude Code、Codex、Cursorなど）、費用、使ったモデル、提供元、すべての往復を通してキャッシュから読めた入力の割合だ。会話を開くと、キャッシュの割合、かかった時間、往復ごとのモデルと所要時間が並ぶ。途中で提供元が変わった場合は、前の提供元の名前も残る。

絞り込みは、往復の回数、ツール、モデル、提供元、認証の種類、費用でできる。1往復だけの会話は、最小の往復数の条件を外すまで表示されない。

提供元をそろえてキャッシュを効かせる

もう1つの柱が「セッションアフィニティ」だ。Vercelのドキュメントによると、AI Gatewayは会話ごとに直前の呼び出しを受けた提供元を覚え、次の呼び出しでその提供元を先に試す。同じ提供元に送り続ければ、長いプロンプトの大半はすでに相手のキャッシュにあるので、そのぶん読み込みが安く速くなる。

これは文字と会話の呼び出しでは標準で有効で、コードを変えなくても効く。会話の見分け方は、呼び出しに付けた会話ID、ヘッダーのx-session-id、OpenAIのprompt_cache_keyの順に探し、Claude Codeについては本体が自動で付けるx-claude-code-session-idを使う。どれもない場合は、会話の書き出しから指紋のような値を作って見分ける。Claude Codeと会話IDを付けた呼び出しでは、提供元だけでなく、どのアカウントの鍵で呼んだかまで固定する。キャッシュはアカウントごとに分かれているからだ。

利用者が提供元の順番を決めている場合も、固定した提供元が先頭に来る。順番どおりにしたい時は、sessionAffinityをfalseにする。

誰の手元で数字が見えるか

ここは誤解しやすい。この表示が見えるのは、Claude CodeやCodexの呼び出しをAI Gatewayに通している人だけだ。AnthropicやOpenAIのサブスクにログインしてそのまま使っている多くの個人の手元では、何も変わらない。

通す方法は、Vercelのドキュメントに載っている。APIの鍵で使う場合は、Vercelのコマンド「npx vercel@latest ai-gateway setup --agent claude-code」を1回実行すると、Claude Codeの設定ファイルに中継先を書き込む。Codexには「--agent codex」を付ける同じ形のコマンドがある。書き換えたファイルは元のものを「.bak」として残し、「--dry-run」を付ければ書き込む前に変更の中身を確かめられる。

Claudeのサブスクのまま通すこともできる。ドキュメントによると、中継先を指す環境変数と、AI Gatewayの鍵を入れたヘッダーを自分で設定し、いつもどおりAnthropicのアカウントでログインする。この場合、モデルの利用はサブスクの枠のままで、ログと中継の機能だけをAI Gatewayで使う形になる。先のコマンドはこの設定を書かないので、手で入れる必要がある。

数字が役に立つのは、APIの鍵で従量課金をしているチームや、受託先の案件ごとにAIの費用を分けて見たい人だ。AI Gatewayの料金表では、トークンに上乗せの手数料はなく、提供元の定価で払う。料金表によると、Vercelのチームのアカウントには、毎月5ドル分のクレジットが付く無料の段階もある。長い作業で途中から急に高くなった会話があれば、キャッシュが切れて提供元が変わっていないかを、往復ごとに追えるようになる（編集部の読み）。ただし会話の中身を第三者の中継に預けることになるので、仕事のリポジトリで使う前に、データの扱いの決まりは確かめておきたい。

編集部の見方

エージェントに長く作業させると、費用の多くは同じプロンプトの読み直しに消える。どの会話でキャッシュが効き、どこで切れたかが数字で見えるのは、従量で払う人には助けになる。サブスクの人は、中継の手間に加え、仕事の会話の中身を第三者に預けることになる。まず案件を1つ通し、キャッシュの割合を見てから決めたい。