OpenAI、「WebMCP」と注釈で画面の文脈を渡す　自分のWeb画面をエージェントに

米OpenAIは、ChatGPTのデスクトップアプリに内蔵されたブラウザで、Webサイトが画面の文脈をエージェントに渡すための「Browser Annotation API」の手引きを公開した。利用者が画面の一部を選んでコメントを付けると、サイトが用意した名前や隠れた情報、調整用の操作が一緒にCodexなどへ届く。サイトの機能を道具として渡す「WebMCP」と組み合わせれば、自分のWeb画面をエージェントに正確に見せ、操作させられる。

画面の一部に注釈を付けて渡す

OpenAIの手引き「Annotations Extensibility」によると、注釈の機能はサイト側で何も書かなくても動く。利用者は画面の一部を選び、コメントを付けて、CodexかChatGPT Workに文脈として送れる。

手引きは、この既定の動きをサイトが自分の画面に合わせて変えるためのものだ。対象はDevDay 2026版以降のデスクトップアプリで、内蔵ブラウザのHTTPSかlocalhostのページでdocument.oai.annotationが使える。古いブラウザに備え、機能があるかを確かめてから使うよう求めている。ChatGPT EnterpriseとEduでは、管理者が許可する必要がある。

カードごと選ばせ、隠れた文脈も渡す

標準では、利用者はページの要素を1つずつ選ぶ。グラフのカードのようなまとまりを1つの物として選ばせたい時は、囲む要素にoai-annotation-containerを、選ばせたい要素にoai-annotatableを付ける。付けた値は、利用者とモデルの両方に見える名前になる。

画面に出ていない情報も渡せる。要素にoai-annotation-metadataを付け、小さなJSONを書けば、選んだ時にその中身が会話に添えられる。上限は項目6つ、全体で2048バイトまでで、入れ子は使えない。手引きは、利用者とモデルの両方に見せてよい情報だけを入れるよう注意している。

サイト自身のボタンから注釈を開くこともできる。request() に要素か文章の範囲を渡し、240字までの下書きのコメントを添える。ただし送るのは利用者で、サイトが勝手にChatGPTへ送ることはできない。

調整の操作を付けて見比べる

registerControls() を使うと、注釈を開いた時に色、範囲、選択肢、切り替えの4種類の操作を出せる。1つの登録で12個までだ。手引きの例では、カードの余白を16ピクセルから24ピクセルに変えて見比べ、その前後の値が注釈に記録される。デザインの部品を直したい時、開発者は変えたい値をそのままエージェントに伝えられる。

キャンバスに描いた図形も選ばせられる。registerSurface() に当たり判定の関数を渡し、図形ごとに変わらないIDを返す仕組みだ。

WebMCPで操作まで任せる

注釈が届けるのは、利用者の選択と意見だ。手引きは、エージェントにサイト上で操作させたい場合は「Site tools」を加えるよう案内している。Site toolsの手引きによると、これは提案中の標準「WebMCP」をChatGPTが実装したものだ。ページのJavaScriptでdocument.modelContext.registerToolを呼び、名前、説明、入力の形、処理を登録すると、内蔵ブラウザのCodexやChatGPT Workが見つけて使う。

使えるモデルはGPT-5.6 SolかGPT-6 Solで、GPT-5.6 Lunaでは止められている。HTMLのフォームで道具を定義する方法と、iframeの中の道具には対応していない。手引きは、サイトが返す道具の定義や結果を信頼できない内容として扱い、送信や削除などの重い操作には通常の確認がかかると説明している。

注釈で見せる物と文脈をそろえ、WebMCPで操作を渡す。自分のWeb画面をエージェントに任せる手段が、これで一通りそろった。

編集部の見方

編集部は、注釈とWebMCPを、エージェントの出来を画面の側から上げる道具として読むべきだと見る。画面を任せる時、何を指しているかが伝わらなければ、エージェントの作業はずれる。名前とメタデータを付け、操作を道具として渡せば、指示の曖昧さを減らせる。自分のWeb画面を持つ読者は、よく直す画面の1つにoai-annotatableと読み取り専用の道具を1つずつ足し、Codexの作業がどう変わるかを試すとよい。デスクトップアプリの内蔵ブラウザの外では動かない点は変わらない。