Geminiのプロンプトインジェクション対策。警告が出たときの注意点

メールやコンテンツを狙う脅威には、マルウェアやフィッシングがあります。同じように、生成AIのツールを狙う脅威もあります。その一つが、プロンプトインジェクションです。

Geminiの保護のしくみと、利用者ができる心がけを整理します。

プロンプトインジェクションとは

生成AIのツールから、意図しない回答や有害な回答を引き出そうとする攻撃です。攻撃者は、クエリを直接送る方法のほか、悪意のあるコンテンツを利用者と共有する方法も使います。

後者では、利用者が気づかないまま、GeminiアプリやGemini for Workspaceのプロンプトで、悪意のあるコンテンツを参照してしまうことで起きます。

Geminiアプリは、不審なアクティビティを検知した場合、入力をブロックすることがあります。疑わしいプロンプトに関連するアクティビティを見つけたときの動きは、次のとおりです。

動き	内容
警告が出る	セキュリティ上のリスクがあるコンテンツについて、Geminiアプリから警告が通知されます
回答に使われない	状況によっては、回答の生成に、どのコンテンツも使われません
一部だけ使われる	不審なコンテンツを除いて、一部のコンテンツだけで回答を作ることがあります

たとえば、複数のメールの要約を頼んだとき、どれか1通に悪意のあるコンテンツが含まれていると、安全のために、回答しないことがあります。

心がけ	中身
知らない人のコンテンツに注意	知らない人から受け取ったコンテンツを使うときは、注意します
警告を見る	Gmailなど、ほかのツールでコンテンツを受け取るときは、Googleからの警告に注意します
リンクを開かない	信頼できない情報源からのリンクはクリックしません
出どころの分からないものに慎重に	Geminiアプリの公開チャットやGemini Canvasのウェブアプリなど、だれが共有したか分からないものは、慎重に使います

回答が不正確、または安全でないと思ったときは、Geminiアプリからフィードバックを送れます。AIの用語は、AIとセキュリティの用語集でも整理しています。

制度の内容や手続き、期限は、変わることがあります。最新の情報は、この記事の末尾にある「出典」のリンク先でご確認ください。