AI開発におけるセキュリティリスク：忍び寄る脅威と対策

AIモデルの学習データに、攻撃者が意図的に悪意のあるデータや偏ったデータを混入させる攻撃です。これにより、AIモデルの判断が歪められ、特定の入力に対して誤った出力をするように仕向けられたり、特定のバイアスを持たせられたりする可能性があります。

例えば、特定の製品に対する否定的な情報を学習データに紛れ込ませることで、AIがその製品に対して不当に低い評価を下すように操作されるケースが考えられます。また、特定のグループに対する差別的なデータを注入し、AIに偏見に基づいた応答をさせることも可能です。

影響: モデルの信頼性低下、予期せぬバイアスの埋め込み、特定の条件下での誤作動（バックドア設置）。

事例の性質: 研究レベルでは、学習データ全体のわずか0.5%〜1%程度の汚染データでもバックドアを設置できることが示されています（2020年頃の研究）。Bullseye Polytope Attack や Convex Polytope Attack といった手法が知られています。

LLM（大規模言語モデル）に対して、巧妙に細工された入力（プロンプト）を与えることで、開発者が意図しない動作を引き起こさせる攻撃です。これにより、本来アクセスできないはずの情報（システムプロンプトや他のユーザーデータなど）を漏洩させたり、不適切なコンテンツを生成させたり、連携している外部システムを不正に操作させたりする可能性があります。

直接的なインジェクション（ユーザーが直接悪意のあるプロンプトを入力）と、間接的なインジェクション（外部のデータソース、例えばウェブサイトやドキュメントに埋め込まれた悪意のあるプロンプトをLLMが読み込んでしまう）があります。Unicodeの非表示文字を利用した「見えないプロンプトインジェクション」も確認されています（2025年頃の報告）。

影響: 機密情報の漏洩、不正なコード実行、サービス拒否、レピュテーションの毀損。

事例:

• 2024年には、Slack AIの機能が悪用され、プロンプトインジェクションによって機密データが漏洩する可能性が指摘されました。攻撃者は、アクセス権のないプライベートチャンネルの情報をAIに漏洩させたり、AIの応答に悪意のあるリンクを埋め込ませたりできる可能性がありました。
• ある自動車ディーラーのAIチャットボットが、簡単なプロンプト操作によって、高額な車を1ドルで提供すると応答してしまった事例も報告されています（具体的な時期は不明瞭だが、比較的最近）。
• スタンフォード大学の学生がMicrosoft Bing Chat（当時）に対して特殊なプロンプトを入力し、内部のプログラミング（初期のシステムプロンプト）を漏洩させた事例があります。

AIモデルからの出力を十分に検証・サニタイズ（無害化）せずに、下流のシステムで利用してしまう脆弱性です。AIの出力に悪意のあるコード（JavaScriptなど）やコマンドが含まれていた場合、それがそのまま実行されてしまい、クロスサイトスクリプティング（XSS）、クロスサイトリクエストフォージェリ（CSRF）、サーバーサイドリクエストフォージェリ（SSRF）、リモートコード実行などの攻撃につながる可能性があります。

影響: クライアントサイド・サーバーサイドでのコード実行、権限昇格、データ漏洩。

AIモデルに対して、通常よりもはるかに多くのリソース（計算時間、メモリなど）を消費させるような入力を繰り返し送信することで、サービスを遅延させたり、停止させたりする攻撃です。これにより、正規ユーザーの利用が妨げられ、ビジネス機会の損失や運用コストの増大につながります。2025年のOWASPリストでは「Unbounded Consumption（無限消費）」として、リソースの過剰消費によるパフォーマンス低下、ダウンタイム、予期せぬコスト増大のリスクが指摘されています。

影響: サービス停止、パフォーマンス低下、運用コストの増大。

事例の性質: 特定のモデルに対して非常に長いプロンプトや、複雑な計算を要求するプロンプトを大量に送りつけることで、リソースを枯渇させることが考えられます。

AI開発では、事前学習済みモデル、外部ライブラリ、データセットなど、多くのサードパーティコンポーネントが利用されます。これらのコンポーネントに脆弱性や悪意のあるコードが含まれている場合、それが最終的なAIシステムにも影響を及ぼします。信頼できないソースからのコンポーネント利用は大きなリスクとなります。

影響: システム全体の侵害、バックドアの設置、データ漏洩。

AIモデル、特にLLMは、学習データに含まれる機密情報（個人情報、企業秘密、ソースコードなど）を意図せず出力してしまう可能性があります。これは、モデルが学習データを「記憶」してしまっている場合に起こりえます（オーバーフィッティング）。また、ユーザーがプロンプトとして入力した機密情報が、AIサービスの提供者側でログとして記録されたり、モデルの再学習に使用されたりすることで漏洩するリスクもあります。

影響: プライバシー侵害、企業秘密の漏洩、コンプライアンス違反。

事例:

• Samsungの従業員が機密性の高い内部コードや文書のレビューにChatGPTを使用した結果、その情報が外部に漏洩したとされる事例があります。この結果、Samsungは社内での生成AIツールの使用を禁止しました。
• Amazonでも、従業員に対してChatGPTに機密情報を共有しないよう警告した事例があります。これは、ChatGPTの応答に従業員が入力したと思われる社内の機密情報に酷似した内容が含まれていたためです。

LLMの機能を拡張するために利用されるプラグインが、不安全な設計になっている場合の脆弱性です。プラグインが必要以上の権限を持っていたり、入力の検証が不十分だったりすると、悪用されて不正な操作や情報漏洩につながる可能性があります。

影響: 権限昇格、不正なアクションの実行、データ漏洩。

AIシステム、特にLLMアプリケーションに、必要以上の機能実行権限や自律的な意思決定能力（エージェンシー）を与えすぎている場合の脆弱性です。AIがプロンプトインジェクションなどによって乗っ取られた場合、その強力な権限が悪用され、予期せぬ、あるいは破壊的なアクション（メール送信、ファイル削除、購入処理など）を実行してしまう可能性があります。

影響: 不正なシステム操作、データ破壊、金銭的被害。

事例: Air CanadaのAIチャットボットが、顧客によって操作され、想定以上の払い戻しを約束してしまった事例が報告されています。これは、AIが持つ権限（この場合は払い戻しに関する情報提供や約束）が悪用された例と言えます。

AI、特にLLMは完璧ではなく、誤った情報（ハルシネーション）、不正確な情報、偏った情報を生成することがあります。これを人間が鵜呑みにしてしまい、重要な意思決定や情報発信に利用してしまうリスクです。AIの出力は常に批判的に評価し、ファクトチェックを行う必要があります。

影響: 誤った意思決定、偽情報の拡散、法的・倫理的問題。

事例: Google Bard（現Gemini）が初期に公開されたデモンストレーションで、質問に対して事実と異なる回答をした事例がありました。これはAIが誤情報を生成する可能性を示す一例です。

攻撃者が、開発されたAIモデル（特に価値の高い独自モデル）そのものを不正にコピーしたり、盗み出したりする行為です。これには、モデルのファイルへの直接アクセスや、APIを通じてモデルの挙動を模倣する（モデル抽出攻撃）などの手口があります。

影響: 知的財産の損失、競争優位性の喪失、悪用による二次被害。

AIモデルの入力データに対して、人間には知覚できないような微小なノイズ（摂動）を加えることで、モデルに誤認識を引き起こさせる攻撃です。画像認識AIが標識を見間違えたり、音声認識AIがコマンドを聞き間違えたりする可能性があります。物理的な世界での攻撃（例: 特殊なステッカーを貼った標識）も研究されています。

影響: 自動運転車の誤作動、顔認証システムの突破、マルウェア検知回避。

事例の性質: パンダの画像に微小なノイズを加えることで、AIが高確率でテナガザルと誤認識するという有名な研究例（2013年頃）があります。

従業員が、組織の許可や管理なしに、個人的にAIツールやサービスを利用することです。これにより、企業の機密情報が意図せず外部のAIサービスに入力されたり、セキュリティポリシーに準拠しない形でAIが利用されたりするリスクが生じます。

影響: 情報漏洩、コンプライアンス違反、管理不能なリスクの増大。

事例の性質: 前述のSamsungやAmazonの事例は、シャドーAIのリスクが顕在化した例とも言えます。従業員が業務効率化のために良かれと思って利用したAIツールが、結果的に情報漏洩につながりました。