Copilotのビジョンとは?画面やカメラを見せて質問する使い方

Copilotのビジョンとは?画面やカメラを見せて質問する使い方

「この画面で、どこを押せばいいの?」「このグラフ、何を表しているの?」。Microsoft Copilotの「ビジョン」は、パソコンの画面やスマホのカメラを共有して、見ているものについて、声で質問できる機能です。

使える条件、始め方、できること・できないこと、データの扱いを整理します。(提供内容は、地域や展開の途中で変わることがあります。)

広告

Copilotのビジョンとは

デスクトップの画面、またはモバイルのカメラを共有し、共有している内容について、Copilotに質問できる機能です。Copilotは、画像、グラフ、表、画面上のアプリの内容をその場で分析し、共有した内容と(仕事用アカウントでは)作業のデータの両方をもとに、説明や助言を返します。

Copilotビジョンでできることビジョンでできること 画面を共有見ているものを質問 カメラを共有スマホで映して質問 声で答える音声会話の最中に | 一情多楽
  • Copilotとの音声会話の最中にだけ使えます。
  • Copilotは、声でリアルタイムに答え、同じ会話の中で、続けて質問できます。

使うのに必要なもの

  • 職場・学校のアカウント: Microsoft Copilotのライセンスがあり、そのアカウントでサインインしている。
  • 個人のアカウント: 個人のMicrosoftアカウントでサインインした、Microsoft 365 Personal、Family、Premiumの契約。
  • マイクへのアクセス(ビジョンは音声会話の中で動くため)。
  • 画面の共有は、デスクトップ(Windowsまたはウェブ)で。カメラの共有は、MicrosoftCopilotのモバイルアプリで。モバイルでは、アプリにカメラの許可を与えます。

無料のCopilotで使えるわけではありません。契約やライセンスを確かめてください。初めて使うときは、プライバシーの通知への同意を求められることがあります。

始め方

ビジョンの始め方始め方 音声チャット 共有を選ぶ画面の矢印かカメラ 話しかける同僚に聞くように | 一情多楽
  1. Copilotと音声チャットを始めます。入力ボックス、WindowsのCopilotキーまたはWin+C、Copilotのモバイルアプリのどれかから始められます。
  2. デスクトップでは、画面共有の矢印を選びます。モバイルでは、カメラのアイコンを選びます。
  3. 共有が始まったら、同僚に聞くように、話しかけます。

共有をやめるには、デスクトップの「共有の停止」ボタンを押すか、モバイルでカメラのアイコンをもう一度選びます。画面共有が止まるだけで、音声チャットは続きます。

頼み方の例

  • 「このダッシュボードの主な傾向は? 先月見たレポートと比べてどう?」
  • 「このバナーと、もらったフィードバックを見て。最初に何を直すべき?」
  • 「この画面で止まってしまった。この作業を終える次の手順を教えて」
  • スマホのカメラで機器のエラーを映して、「このエラーを直す方法は?」

できること

  • グラフ、表、スライド、細かい文章の読み取りと説明。
  • 受け取ったフィードバックを、次の一歩にする。
  • プロジェクトの状態の更新(進み具合、担当者、次のマイルストーン)。
  • 画面の状況に合わせた、手順ごとの助け。
  • デスクトップのアプリの画面、複数のウィンドウを使う作業、カメラで映した物の理解。
広告

できないこと・限界

ビジョンの限界できないこと 操作の代行クリックや入力はしない 動画・GIF読み取れない 前の画面の記憶会話ごとに独立 | 一情多楽
  • 操作を代わりにはしません。画面の一部を強調して示すことはありますが、クリック、入力、スクロールはしません。
  • 動画やアニメーションGIFは、読み取れません。
  • 質問中にウィンドウを速く切り替えると、まちがった画面の内容をもとに答えることがあります。
  • 長期の記憶はありません。ビジョンの会話ごとに独立していて、前のセッションの画面やカメラの映像は使われません。
  • 1日の使用量は、使える容量に基づき、毎日の音声の使用量に数えられます。上限に近づくと、アプリに通知が出ます。

うまく使うコツ

  • 質問する内容を、画面に出してから聞く。
  • ウィンドウの切り替えは、ゆっくり。
  • マイクがオンか確かめる。

データの扱い

  • ビジョンは、共有を選んだ画面やカメラの内容(と、ライセンスがあれば、仕事のデータ)を、そのセッションの間だけ、処理します。
  • 共有した画面やカメラの内容は、一連の画像として処理されます。音声と映像のデータは、フィードバックのために一時的に保存され、48時間後に削除される、とされています。
  • 音声会話のテキストの記録は、Copilotアプリの文字の会話と同じやり方で保存・管理されます。
  • 人種や感情など、センシティブな個人の特徴を推測しない、とされています。
  • フィードバックの評価(サムズアップ・ダウン)は、Copilotの基盤モデルの学習には使われない、とされています。

画面に、パスワード、個人情報、他人のメールが映っていないか、共有の前に確かめましょう。

関連記事

出典

広告