Gemini 3.5 Flashにコンピュータ操作機能統合、長期業務の自動化を加速

Gemini 3.5 Flashにコンピュータ操作機能統合、長期業務の自動化を加速

Gemini 3.5 Flashにコンピュータ操作機能統合、長期業務の自動化を加速

Google DeepMindは2026年6月24日、マルチモーダルモデルGemini 3.5 Flashにコンピュータ操作機能を標準搭載したと発表した。これまで専用のGemini 2.5モデルとして提供されていた機能が、メインのFlashモデルに統合された形だ。

この統合により、ブラウザやモバイル、デスクトップ環境をAIエージェントが見て、推論し、実際に操作するという一連の流れが一段と高速かつ安定する。長期間にわたるソフトウェアテストや、複数アプリケーションを横断する知識業務の自動化が、より実用的な選択肢になる。

Gemini 3.5 Flashにコンピュータ操作機能が統合

Gemini 3.5 Flashにコンピュータ操作機能が統合

これまでと何が変わったのか

従来、コンピュータ操作機能はスタンドアロンのGemini 2.5モデルとして提供されていた。このモデルは画面操作に特化していたものの、メインのGemini APIとは別の呼び出しが必要となり、複雑なエージェントを構築する際にレイテンシや統合の手間が課題になりやすかった。

Gemini 3.5 Flashでは、もともと高い性能を誇るFlashモデルに、コンピュータ操作がビルトインツールとして組み込まれている。関数呼び出しや検索、マップグラウンディングと同じレイヤーで扱えるため、開発者は単一のAPIで、テキスト処理から実環境の操作までシームレスに実行できるようになる。

コンピュータ操作機能の仕組み

エージェントは画面のスクリーンショットを画像として受け取り、そのなかのUI要素やテキストを解析する。解析結果に基づいて、次にとるべき操作(クリック、キーボード入力、スクロールなど)を推論し、実際のブラウザやデスクトップ環境でその操作を実行する。このサイクルを繰り返すことで、複数ステップにわたる業務も自動で完遂できる。

コンピュータ操作エージェントの動作サイクル
STEP 1 画面キャプチャを取得(スクリーンショット)
STEP 2 画像を解析し、UI要素と現在の状態を推論
STEP 3 適切な操作(クリック、入力、スクロール)を実行
このサイクルを反復し、複数ステップのタスクを自律的に完了する

このループによって、ユーザーが細かく指示しなくても、自然言語による高レベルの指示だけで長期間の自動化が実現できる。

エンタープライズ向けの安全性対策

エンタープライズ向けの安全性対策

標的型敵対的学習と保護機能

実環境で稼働するエージェントのリスクとして、プロンプトインジェクションや不適切な操作が常に課題となる。Gemini 3.5 Flashでは、こうしたリスクを低減するために、コンピュータ操作に特化した標的型敵対的学習(targeted adversarial training)が施されている。

さらに、企業向けのオプションとして2つの保護機能が提供される。ひとつは、機密性の高い操作や元に戻せない操作を実行する前に明示的なユーザー確認を要求する仕組みだ。もうひとつは、間接的プロンプトインジェクションが検知された場合に、タスクを自動停止する仕組みである。

エンタープライズ保護機能の効果
保護機能なし(Before)
エージェントが危険な操作を即座に実行
操作 データベース削除コマンドを実行しました(確認なし)
保護機能あり(After)
機密操作の前にユーザー確認を要求
エージェント「データベースを削除してよろしいですか?」
いいえ
はい
さらに、間接的プロンプトインジェクションを検出すると自動的にタスクを停止する仕組みも搭載される

多層防御のベストプラクティス

Google DeepMindは、これらの安全機能だけに頼らず、安全なサンドボックス環境の利用や人間による監視・検証、厳格なアクセス制御を組み合わせる「多層防御」を推奨している。これにより、エージェントが予期せぬ行動をとった場合でも、システム全体への影響を最小限に抑えられる。

導入事例と開発者向けリソース

導入事例と開発者向けリソース

顧客の声

すでに複数の企業が、このコンピュータ操作統合から価値を引き出している。BrowserbaseのMiguel Gonzalez Fernandez氏は、エンドツーエンドのテスト自動化が大きく前進し、環境構築の手間が格段に減ったと評価する。Browser UseのMagnus Muller氏は、自然言語による指示だけでブラウザ上の複雑なワークフローが完遂できる点を高く評価している。UiPathのAlvin Stanescu氏は、エンタープライズRPAと生成AIの融合が加速し、ノンコードでの高度な自動化が可能になるとコメントしている。

デモ環境とAPIの利用方法

開発者はBrowserbaseがホストするデモ環境ですぐにコンピュータ操作の挙動を試せる。実際の開発には、Gemini APIのドキュメントに従ってリファレンス実装を参照し、Gemini Enterprise Agent Platformを通じてエンタープライズグレードのエージェントを構築できる。GitHub上で公開されているコードサンプルを活用すれば、自社環境への導入もスピーディに進められる。

Gemini 3.5 Flashのコンピュータ操作統合がもたらす価値

Gemini 3.5 Flashのコンピュータ操作統合がもたらす価値

今回のアップデートは、Googleがエージェント型AIを本格的にエンタープライズ市場へ押し出す明確な一手といえる。競合各社もブラウザ操作機能を提供し始めているが、既存のFlashモデルにビルトインで組み込む手法は、推論コストと応答速度の面で優位に立つ可能性が高い。多数の業務アプリケーションをまたぐシナリオでも、別モデルの呼び出しオーバーヘッドが不要になるからだ。

安全性への取り組みも、この領域での普及を左右するカギを握る。標的型敵対的学習やオプションの確認機能は、金融や医療など厳格なコンプラ要件が求められる業界でもAIエージェントを受け入れやすくする。ただし、まだ攻撃手法の進化は続くため、多層防御を徹底することが現実的な運用には不可欠だ。

開発者視点では、Gemini APIを通じて簡単に試行錯誤できる環境が整ったことが大きい。自社の業務アプリケーションにエージェント操作を組み込むハードルは確実に下がっており、今後数ヶ月で実運用事例が急増するとみられる。

コンピュータ操作導入の流れ
STEP 1 デモ環境で動作を確認
STEP 2 Gemini APIのリファレンス実装をベースにプロトタイプを構築
STEP 3 エンタープライズ向け保護機能を設定
STEP 4 実業務に展開し、多層防御で安全に運用
まずは小規模なタスクから始め、効果を検証しながら徐々に適用範囲を広げるのが推奨される

この記事のポイント

  • Gemini 3.5 Flashにコンピュータ操作機能がビルトインされ、専用モデルの呼び出しが不要になった
  • 画面を見て操作するエージェントが、長期のソフトウェアテストや業務自動化で威力を発揮する
  • 敵対的学習と2つのオプション保護機能により、エンタープライズ環境でも安全性を担保しやすくなった
  • Browserbase、Browser Use、UiPathなどがすでに導入しており、導入用のデモ環境やAPIドキュメントが整備されている
  • 多層防御の考え方を取り入れることで、より堅牢なエージェント運用が実現できる
海田 洋祐

・ 複数業界における17年間のデジタルビジネス開発経験 ・ ウェブサイト開発のためのHTML、PHP、CSS、JavaScript等の実用的知識 ・ 15ヶ国語対応の多言語SaaSの開発経験 ・ 17年間にも及ぶ、Eコマース長期運営経験 ・ 幅広い業界でのSEO最適化の豊富な経験

メッセージを残す