Gemini APIの「コンピューター操作」が一般提供に　画面を操るエージェントを本番へ

米GoogleのGoogle AI Studioは日本時間11月5日、Gemini APIの「Computer Use」（コンピューター操作）の道具を一般提供にしたとXの公式アカウントで告知した。画面の写しを見て、クリックや文字の入力を返すエージェントを作るための道具だ。プレビューからの互換を壊す変更は無く、ブラウザー、スマホ、デスクトップのエージェントを本番で使える安定性にしたという。

画面を見て次の操作を返す

Gemini APIの開発者向けの説明書によると、Computer Useは、モデルが画面の写しを「見て」、マウスのクリックやキーボードの入力といった操作を「返す」道具だ。操作を実際に行うのはモデルではなく、使う側のプログラムになる。関数の呼び出しと同じように、返ってきた操作を自分の環境で動かす部分を用意する必要がある。

流れは4つの段階を繰り返す。まず、利用者の頼みと今の画面の写しを付けてモデルに送る。モデルはクリックやスクロールなどの操作を1つ返す。使う側のプログラムがそれを実行し、新しい画面の写しを返す。これを作業が終わるまで回す。説明書の例では、ブラウザーを動かす道具としてPlaywrightを使っている。モデルが返す座標は縦横1000の目盛りに直した値なので、使う側が自分の画面の大きさに合わせて換算してから押す。複数の操作をまとめて返した時は、操作ごとに結果を返す決まりになっている。

Gemini 4とGemini 3.xのモデルでは、操作ごとに「なぜその操作を選んだか」を説明する欄が付く。エージェントが何をしようとしているかを、ログで追いやすくなる。

使えるモデルは4つから選ぶ

説明書には、Computer Useに使えるモデルとして4つが並ぶ。最も能力の高い「Gemini 4 Argon」、Computer Useに推奨する「Gemini 3.8 Flash」、遅れが小さく安い「Gemini 3.5 Flash-Lite」、プレビューの「Gemini 3 Flash Preview」だ。動かす先は、ブラウザー、スマホ、デスクトップの3つを選べる。考える深さの段階も変えられ、説明書は、ふつうの自動化なら低めの段階で質と速さの釣り合いが取れやすいとしている。試す場として、Browserbaseのデモの環境と、Dockerで動く見本の実装も案内している。

危ない操作は人に確かめる

安全の仕組みも説明書に書かれている。モデルの応答には、その操作を通してよいか、利用者の確認が要るか、止めるかの判断が付くことがある。確認が要ると出た時は、利用者に聞き、承認を得てから実行する決まりだ。

判断の種類は7つに分かれる。支払いや買い物、健康やお金の記録の書き換え、メールやチャットの送信、アカウントの新規登録、ファイルの変更や削除、クッキーの同意、利用規約への同意だ。使う側は一部の決まりを変えられるが、それでもモデルが確認を求めることはあるとしている。

Gemini 3.5 Flash-Lite以降では、画面の写しに隠れた指示（「前の命令を無視せよ」など）を見つけて止める機能も使える。既定では切れているので、使うには設定で有効にする。

説明書は、Computer Useには誤りや安全上の弱点がありうるとも書く。大事な作業は人がよく見ること、重い判断や機密のデータ、取り返しのつかない操作には使わないことを勧めている。あわせて、隔離した環境で動かすこと、行ってよいサイトを一覧で絞ること、頼みの文と画面の写し、モデルが返した操作、実際に行った操作をすべて記録に残すことも挙げている。

料金と上限は告知に無い

Xの告知が示したのは、一般提供になったことと、プレビューから互換を壊す変更が無いことの2点だ。一般提供に合わせた料金や利用の上限の変更は、告知には書かれていない。使う前に、自分の使うモデルの料金と上限を確かめる必要がある。

編集部の見方

Claude CodeやCodexで小さなサービスを作る人にとって、画面の操作を任せる道具が一般提供になった意味は、試しの段階から、自分のサービスの中の機能として組み込める段階に来たことだ。管理画面の入力や、作った画面の通しの確認など、APIの無い操作を自動にしたい場面で選択肢になる。一方で、操作を動かす環境は自分で用意し、確認の求めに人が答える仕組みも作る必要がある。まずは隔離した環境で、確認が要る操作がどれだけ出るかを見てから広げるのが手堅い。