AIとセキュリティの用語集。プロンプトインジェクション・RAGなどをやさしく

AIとセキュリティの用語集。プロンプトインジェクション・RAGなどをやさしく

ニュースや解説で、「プロンプトインジェクション」「RAG」「ハルシネーション」といった言葉を見かけて、意味が分からなくなったことはありませんか。

AIとセキュリティの、よく出てくる用語を、やさしい言葉で整理しました。

広告

AIの基本の用語

AIの基本の用語AI の基本の用語 チャット AIChatGPT・Gemini など プロンプトAI への入力 ハルシネーションもっともらしいうそ | 一情多楽
用語意味
AIシステムAIを組み込んだITシステム。AIを内蔵したソフトウェア。
AIモデル主に生成AIの心臓部となるデータ。多量のデータをもとに、機械学習をした結果として得られる。
機械学習学習データを教科書代わりにして、入力に対して、どう答えるべきかをAIが学ぶ工程。
生成AI自由度の高い入力にもとづいて、多種多様なデータを出力するAI。ChatGPTのような対話型AIが代表。
大規模言語モデル(LLM)テキストを受け付けてテキストを出力する、生成AIの心臓部のAIモデルで、非常に大規模なもの。
チャットAI自由な文章で、AIと対話できるAIシステム。ChatGPT、Copilot、Gemini、Claudeなどが代表例。
プロンプトチャットAIに与える、利用者からの入力のこと。
ハルシネーション生成AIが、学んだはずの事実とは違う、ウソの回答をつくること。

AIの特性を狙った攻撃の用語

AIを狙う攻撃の用語AIを狙う攻撃の用語 プロンプトインジェクション動作を変える入力 間接型第三者が仕込む データポイズニング開発側の問題IPA | 一情多楽
用語意味
プロンプトインジェクションチャットAIの動作を変えてしまうような、特殊なプロンプトを入力する攻撃。主に、応じるべきでない要求を拒否する、安全装置(セーフガード)の回避を狙う。
間接プロンプトインジェクションAIの利用者ではない第三者が、RAGなどを通じて、AIが読むデータの中に、不正なプロンプトを混ぜ込む攻撃。AIの利用者にも、警戒が必要。
データポイズニング機械学習のデータに、攻撃者の意図に沿った不適切なデータを混ぜて、AIモデルの不正な動作を狙う攻撃。一般の利用者が気にする必要は、通常はない。
敵対的サンプル攻撃AIの出力が想定外の異常な結果になるように、特別に選んだ入力を与える攻撃。簡単に実行できる攻撃ではない。

AIの仕組みの用語

AIの仕組みの用語AI の仕組みの用語 RAG ニューフラルネットワーク脳にヒント AGI・ASl | 一情多楽
用語意味
RAG(ラグ)AIが知らないことを、外部のシステムで検索して、プロンプトの一部に取り込んで参考にする仕組み。検索結果は、一般には利用者から見えない。
ディープラーニングディープニューラルネットワークを設計して、機械学習する技術や理論の総称。生成AIも、その成果のひとつ。
ニューラルネットワーク人間の脳の神経網をヒントにした、模擬的な神経網のシミュレータ。脳をそのまま再現しているわけではない。
AGI人間と同じように思考できるAI。現在は研究段階。
ASI人間を超える超知能の水準に到達したAI。AGIよりも、さらに議論が定まっていない。
広告

覚えておきたい3つ

  • ハルシネーションは、AIがウソを答えること。確認が大切です。
  • 間接プロンプトインジェクションは、AIが読むページやメールに仕込まれた指示で、AIが誤作動すること。利用者も注意が必要です。
  • データポイズニングは、AIを開発する側の問題で、一般の利用者が気にする必要は、通常はありません。

まとめ

用語を知ると、AIのニュースが、読みやすくなります。AIの状況は変化が速いので、新しい用語が出てきたら、公的機関の資料などで確かめましょう。

関連記事

出典

広告