AIで起こりうる7つの被害。企業が気をつけたいことをやさしく解説

AIで起こりうる7つの被害。IPAの手引書をやさしく解説

生成AIやAIエージェントを使うと、どんな被害が起こりうるのでしょうか。

手引書(2026年7月)は、7つの「発生被害」に整理しています。やさしく解説します。

7つの発生被害のうちA〜D。情報の漏洩、権限を超えた操作、改ざん、サービスの停止7つの「発生被害」(AーD) A.情報の漏洩入力した内容や参照データの情報が、意図せず B.権限を超えた操作AI が、人与えられた権限を超えて、不正な操 EE 人を語ら C.改ざんAI の設定や参照データが書き換えられ、 D.サービスの停止外部サービスの障害や攻撃で、AlI が使えなくなるIPA「生成 AI および AI エージェントを安全に活用するための手引書」一情タ | 一情多楽
広告

A. 情報の漏洩

AIに入力した内容や、AIが参照するデータの中の情報が、意図せず外部や、権限のない人に見られてしまうことです。事例として、2023年に、ある企業の社員が、業務の効率化のために、機密のソースコードなどを、ChatGPTに入力した件があります。社内に、生成AIの利用ルールがなかったことが原因でした。

B. 付与された権限を超えた操作

AIが、与えられた権限を超えて、不正な操作をしてしまうことです。事例として、2026年に、自律型のAIエージェントに、メールへのアクセス権を与えた結果、数百通のメールが、意図せず大量に削除されたことがあります。過剰な権限を与えたことと、実行前に人間が承認する仕組みがなかったことが、原因でした。

C. システムや内部データの改ざん

AIの設定や、AIが参照するデータが、悪意を持って書き換えられ、間違った答えを出してしまうことです。

D. サービスの停止

AIが依存している外部サービスの障害や、攻撃で、AIが使えなくなることです。AIを業務の中心にしているほど、停止の影響が大きくなります。

7つの発生被害のうちE〜G。虚偽や低品質な出力の利用、第三者への加害、過剰課金7つの「発生被害」(EへG) E.虚偽な出力の利用ハルシネーションや念見を含む答えを、確認せずに使う F.第三者への加害AI の機能が悪用され、自社が意図せず加害者になる G.過剰課金悪意のあるリクエストや乗っ取りで、API 利用料が SSS くクおIPA「生成 AI および AI エージェントを安全に活用するための手引書」一情タ | 一情多楽
広告

E. 虚偽や低品質な出力の利用

AIが作ったハルシネーション(もっともらしい、事実と異なる情報)や、偏見を含む答えを、確認せずに使ってしまうことです。事例として、2023年に、米国の弁護士が、ChatGPTが作った、実在しない判例を、裁判書面に記載した件があります。裁判所は、必要な確認を行わなかったとして、弁護士2名と法律事務所に、5,000ドルの制裁金などを命じました。

F. 第三者への加害

AIの機能が悪用され、自社が、意図せず加害者になってしまうことです。事例として、2025年11月に、Anthropic社が、中国系の脅威アクターによる、同社のClaude Codeを悪用した大規模な攻撃を、検知して遮断したと発表した件があります。

G. 過剰課金

悪意のあるリクエストや、乗っ取りで、APIの利用料などが、大きくふくらむことです。事例として、盗まれたクラウドの認証情報で、LLMが不正に使われ、被害企業で、1日あたり最大4万6,000ドルの損失が試算されたことがあります。API キーの管理や、コスト上限の設定が重要です。

私たちにできる4つのこと。入力に気をつける、権限を絞る、答えを確認する、認証情報の管理私たちにできる4つのこと 入力する情報に気をつける(A)情報の漏洩を防ぐ 権限は必要な男囲に(B)AI に与える権限を絞る 答えは必ず確認(E)確認してから使う 認証情報の管理(G)API キーなどの管理に気をつけるIPA「生成 AI および AI エージェントを安全に活用するための手引書」一情タ | 一情多楽

私たちにできること

  • 入力する情報に気をつける(A)。
  • AIに与える権限は、必要な範囲に絞る(B)。
  • AIの答えは、必ず確認して使う(E)。
  • APIキーなどの、認証情報の管理に気をつける(G)。

※この手引書は、主に企業向けです。個人で使う場合にも、参考になる部分を、紹介しています。事例は、手引書が紹介しているものです。詳細は、手引書の出典情報をご覧ください。

関連記事

出典

広告