生成AIやAIエージェントを使うと、どんな被害が起こりうるのでしょうか。
情報処理推進機構(IPA)の手引書(2026年7月)は、7つの「発生被害」に整理しています。やさしく解説します。
A. 情報の漏洩
AIに入力した内容や、AIが参照するデータの中の情報が、意図せず外部や、権限のない人に見られてしまうことです。事例として、2023年に、ある企業の社員が、業務の効率化のために、機密のソースコードなどを、ChatGPTに入力した件が紹介されています。社内に、生成AIの利用ルールがなかったことが原因とされています。
B. 付与された権限を超えた操作
AIが、与えられた権限を超えて、不正な操作をしてしまうことです。事例として、2026年に、自律型のAIエージェントに、メールへのアクセス権を与えた結果、数百通のメールが、意図せず大量に削除されたことが紹介されています。過剰な権限を与えたことと、実行前に人間が承認する仕組みがなかったことが、原因とされています。
C. システムや内部データの改ざん
AIの設定や、AIが参照するデータが、悪意を持って書き換えられ、間違った答えを出してしまうことです。
D. サービスの停止
AIが依存している外部サービスの障害や、攻撃で、AIが使えなくなることです。AIを業務の中心にしているほど、停止の影響が大きくなります。
E. 虚偽や低品質な出力の利用
AIが作ったハルシネーション(もっともらしい、事実と異なる情報)や、偏見を含む答えを、確認せずに使ってしまうことです。事例として、2023年に、米国の弁護士が、ChatGPTが作った、実在しない判例を、裁判書面に記載した件が紹介されています。裁判所は、必要な確認を行わなかったとして、弁護士2名と法律事務所に、5,000ドルの制裁金などを命じました。
F. 第三者への加害
AIの機能が悪用され、自社が、意図せず加害者になってしまうことです。事例として、2025年11月に、Anthropic社が、中国系の脅威アクターによる、同社のClaude Codeを悪用した大規模な攻撃を、検知して遮断したと発表した件が紹介されています。
G. 過剰課金
悪意のあるリクエストや、乗っ取りで、APIの利用料などが、大きくふくらむことです。事例として、盗まれたクラウドの認証情報で、LLMが不正に使われ、被害企業で、1日あたり最大4万6,000ドルの損失が試算されたことが紹介されています。API キーの管理や、コスト上限の設定が重要とされています。
私たちにできること
- 入力する情報に気をつける(A)。
- AIに与える権限は、必要な範囲に絞る(B)。
- AIの答えは、必ず確認して使う(E)。
- APIキーなどの、認証情報の管理に気をつける(G)。
※この手引書は、主に企業向けです。個人で使う場合にも、参考になる部分を、紹介しています。事例は、手引書が紹介しているものです。詳細は、手引書の出典情報をご覧ください。
関連記事
出典
- 生成AIおよびAIエージェントを安全に活用するための手引書(2026年7月)|情報処理推進機構(IPA)(2026年10月12日に確認)