コンタクトセンターで生成AIのセキュリティを軽視すると、個人情報漏えいやブランド棄損の重大リスクに直結します。OWASP Top 10 for LLM Applications 2025が示す通り、脅威は年々多様化しています。
本記事では、生成AIをコンタクトセンターで使う際の主要リスクと、個人情報保護の実務対策を体系立てて解説します。加えて、経営層・情シス・CS責任者が同じ言語で議論できる土台を提供します。
目次
生成AIのセキュリティリスクの全体像
まずは全体像を押さえましょう。また、生成AI特有のリスクは、従来のITセキュリティの延長では対処できません。
OWASP Top 10 for LLM Applications 2025の要点
OWASPは、LLMアプリの主要リスクとして10項目を公表しています。2025年版は、RAG・エージェント・システムプロンプト漏えいなど、実装の現実に即した構成に更新されました。
最重要リスクに挙げられたのがプロンプトインジェクションです。さらに、コンタクトセンターは、外部からの入力を直接AIに届ける構造のため、正面からのリスクを受けます。
PPC（個人情報保護委員会）の注意喚起
個人情報保護委員会は2023年6月に生成AI利用の注意喚起を公表し、その後も更新を続けています。具体的には、要点は「利用目的の範囲内で入力する」「既取得の個人情報は取得時の目的内に限定する」の2つです。
コンタクトセンター固有のリスク特性
コンタクトセンターでは、顧客の氏名・住所・契約情報などが日常的に会話に登場します。したがって、生成AIに流す情報の境界設計が他業界より厳しく問われます。
生成AI セキュリティ主要脅威──5カテゴリで整理
コンタクトセンターで特に注意すべき脅威を、5つのカテゴリに分類します。
脅威1：プロンプトインジェクション
悪意あるユーザーが、AIの挙動を乗っ取る指示を会話に紛れ込ませる攻撃です。2025年7〜8月には、機密データ漏えいの複数のインシデントが公表されました。
直接型と間接型があります。なお、直接型はユーザー入力から、間接型は添付ファイルやWebコンテンツから注入されます。
脅威2：機密データの学習流用
公開LLMに個人情報を投入すると、サービス提供者側で学習に使われるリスクがあります。API利用時はデータ利用ポリシーを必ず確認してください。
脅威3：システムプロンプト漏えい
内部の動作ルールが露出すると、攻撃者はより高度な攻撃を組み立てます。OWASP 2025でも独立した項目として扱われています。
脅威4：出力側の情報漏えい
AIの応答に個人情報が含まれ、別の顧客に返されるリスクです。2025年発見のEchoLeak脆弱性（CVE-2025-32711）では、ゼロクリックで機密データが流出する仕組みが確認されました。
脅威5：サプライチェーン・モデル汚染
学習データや第三者モデルの汚染により、AIが想定外の挙動をする脅威です。一方で、導入プラットフォームの透明性を契約段階で確認する必要があります。
生成AI セキュリティの実務対策──3層防御で個人情報保護
対策は、入口・処理中・出口の3層で設計するのが基本です。
入口対策（入力時のガードレール）
まず、ユーザー入力をLLMに届ける前にフィルタリングします。ただし、氏名・電話番号・カード番号などを自動マスキングする仕組みが必須です。
加えて、プロンプトインジェクション検知器を入口に置きます。AWS Guardrails for Amazon Bedrockや、Google Cloud Model Armorなどが利用できます。
中間対策（処理中のガバナンス）
処理中は、アクセス権限の最小化を徹底します。AIが参照できるナレッジ・APIを業務単位で制限するのが原則です。
また、会話ログは暗号化して保存し、学習への再利用を禁止する契約条項を結びます。
出口対策（応答時のチェック）
出口では、AIの応答に個人情報が混入していないかチェックします。実際に、別顧客のデータが紛れて返される事故は、最も重大な個人情報漏えいに直結します。
コンタクトセンター向け生成AI セキュリティ実装チェックリスト
運用現場で使える10項目のチェックリストを示します。
- 入力プロンプトのPII自動マスキング
- プロンプトインジェクション検知器の導入
- システムプロンプトの非公開化と定期更新
- ナレッジ参照範囲の業務単位での制限
- 会話ログの暗号化と学習利用禁止の契約
- 出力内容のPII・他顧客情報の混入チェック
- プラットフォームの脆弱性情報の定期追跡
- インシデント発生時のエスカレーション手順
- 定期的なレッドチーミング（攻撃試験）
- 従業員向けAIセキュリティ教育の年次実施
事例で学ぶ生成AI セキュリティ──実際のインシデントと教訓
失敗事例は、最良の学習教材です。
EchoLeak（Microsoft 365 Copilot）
2025年に発見されたEchoLeak脆弱性は、RAG構成のCopilotをゼロクリックで悪用する攻撃でした。結果として、メールに埋め込まれた隠し指示がRAGで取り込まれ、機密データが外部流出しました。
教訓は2点です。1つ目は、RAGの参照先のサニタイズを徹底すること。2つ目は、エージェントの外部送信権限を最小限に絞ることです。
2025年夏のプロンプトインジェクション連続インシデント
2025年7〜8月、複数のAIアプリでチャット履歴・認証情報・第三者データが漏えいする事故が続きました。つまり、根本原因は、入力フィルタと権限分離の不備です。
教訓は、多層防御を前提にすることと、単一のガードレールに依存しないことです。
生成AI セキュリティ運用指針──PPC注意喚起を踏まえる
日本の法的観点も押さえましょう。
利用目的の特定と範囲内運用
取得済みの個人情報を生成AIに入力する場合、取得時に特定した利用目的の範囲内でなければなりません。したがって、利用目的の記載が曖昧な企業は、生成AI利用を前提に改訂しておく必要があります。
要配慮個人情報の扱い
医療・健康・犯罪歴等の要配慮個人情報は、原則本人同意が必要です。ただし制度見直しでは、統計情報作成時の緩和が議論されています。たとえば、自社の利用計画が該当するか、法務と要確認です。
第三者提供と海外移転
海外サーバーに個人データを送る生成AIサービスは、越境移転規制の対象になります。加えて、データ処理委託先の一覧化と、同意取得の見直しが運用の起点です。
まとめ：生成AIセキュリティは経営課題
生成AIのセキュリティは、もはや情シスだけの課題ではありません。また、個人情報保護・ブランド管理・顧客信頼を束ねる経営課題です。
OWASP Top 10・PPC注意喚起・国内外のインシデント事例を踏まえ、入口・中間・出口の3層防御を構築してください。10項目のチェックリストを運用に組み込めば、最低限のリスクは抑えられます。
エージェント化で変わる生成AI セキュリティの見取り図
本記事はOWASP Top 10 for LLM Applications 2025を軸にしてきました。ただし2025年末以降、前提が一段変わっています。AIが自ら手順を決めて外部を操作するようになったためです。
OWASPが別体系を出した
まず、事実関係を整理します。LLM Top 10については、2026年7月時点でも2025年版が最新です。プロンプトインジェクションはLLM01:2025として最上位に置かれています。
一方でOWASP GenAI Security Projectは、2025年12月9日に別の文書を出しました。「Top 10 for Agentic Applications for 2026」です。こちらはASI01からASI10という別の体系です。
注目したいのは、プロンプトインジェクションの扱いです。この体系では独立項目ではありません。ASI01「Agent Goal Hijack」の侵入経路として整理し直されました。
つまり問題の立て方が変わりました。従来は「不正な指示が混入するか」を見ていました。エージェント前提では「目的が乗っ取られるか」を見ます。したがって2025年版だけを参照していると、現状を取り違えます。
なぜ危険度が上がるのか
理由は単純です。従来のLLMは文章を返すだけでした。しかしエージェントはツールを呼び、外部システムを操作します。
- まず、被害が出力にとどまりません。誤った指示が実際の処理として実行されます。
- 次に、複数の手順を自律的に進めるため、誤りが途中で連鎖します。
- さらに、外部から取り込んだデータそのものが攻撃経路になります。参照した文書に指示が埋め込まれている場合です。
- 特に、コンタクトセンターでは入力元が不特定多数です。したがって攻撃者も同じ窓口から入力できます。
実際にAnthropicも同じ点を指摘しています。エージェントの自律性の高さが、コスト増と誤りの複合化を招くという内容です。そのうえでサンドボックス環境での広範なテストを推奨しています。加えて適切なガードレールも必要だとしています（2024年12月19日）。
生成AI セキュリティ対策をエージェント前提に組み替える
本記事で示した3層防御は、引き続き有効です。ただしエージェントを扱う場合は、次の4点を追加してください。
| 追加すべき対策 | 目的 |
|---|---|
| ツールごとの権限を最小化する | 乗っ取られても実行できる範囲を限定する |
| 取り消せない操作の前に人の承認を挟む | 被害の確定を防ぐ |
| 監視をエージェントから独立させる | エージェント自身の報告に依存しない |
| 停止のスイッチを用意する | 異常時に人が止められるようにする |
後半2点は、公的なフレームワークでも求められています。米国のNIST AI リスクマネジメントフレームワーク1.0のMANAGE 2.4です（2023年1月）。意図した用途と矛盾する結果を示すAIシステムについて、上書き・解除・停止する仕組みを求めています。加えて責任分担も明確にすることとされています。なお原文は supersede, disengage, or deactivate です。
国内の指針も更新されている
最後に、国内文書の現在地です。
まず、総務省・経済産業省の「AI事業者ガイドライン」です。第1.2版が2026年3月31日に公表されました。ただし同ガイドラインは自ら「非拘束的なソフトロー」と位置付けています。つまり法的義務ではありません。
次に、デジタル庁が2026年6月12日にDS-920を公表しています。「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」です。なお従来よく引かれる「対策ガイドブック」は別文書です。こちらは2024年6月10日のα版のまま更新されていません。したがって「政府の最新指針」として引く際は、区別してください。
Q. よくある質問
Q1: コンタクトセンターで最も警戒すべきリスクは？
最優先はプロンプトインジェクションです。OWASP Top 10 for LLM Applications 2025でも1位に位置付けられ、外部入力を直接AIに届けるコンタクトセンターは正面からリスクを受けます。
次に警戒すべきは、応答出力に別顧客の個人情報が混入する出口リスクと、RAG参照先に隠された指示を介した間接注入です。3層防御（入口・中間・出口）を同時に整えてください。
Q2: 公開LLMの生成AI セキュリティは業務で使って良い？
契約条件と設定次第です。具体的には、エンタープライズ契約で「入力データを学習に使わない」ポリシーが明示されていれば利用可能ですが、無料版やデフォルト設定では学習流用のリスクが残ります。
機密度の高い業務は、専用VPC・プライベートデプロイ・国内データセンター完結型の選択肢を優先してください。なお、社内ポリシーと利用目的の紐付けも必須です。
Q3: 生成AI セキュリティ対策のコスト目安は？
コンタクトセンター規模・要件で大きく変動しますが、ガードレールサービスと監査機能を合わせて月額10〜50万円が一般的なレンジです。レッドチーミングの年次実施には別途数百万円の予算を見込んでください。
導入効果の削減額と比較すれば、セキュリティ投資は十分に回収可能です。逆にインシデント1件あたりの損害は、直接費用だけで数千万円から数億円に及びます。
参考リンク
- OWASP Top 10 for LLM Applications 2025 を読み解く（Tech Fun Magazine）
- 生成AIサービスの利用に関する注意喚起等について（個人情報保護委員会）
- LLM01:2025 プロンプトインジェクションの解説（CyberCrew）
- プロンプトインジェクションから生成AIワークロードを保護する（AWSブログ）
- 生成AIに対するセキュリティ脅威と対策 第2回（NTTデータ先端技術）
- 生成AIシステムのセキュリティを徹底解説（NRIセキュア）
- 生成AIセキュリティ完全ガイド2026（renue）
関連記事
なお、vottiaでは、コンタクトセンター運営の25年の知見と最新のAIエージェント技術を組み合わせ、お客様のCX変革をサポートしています。たとえば、チャットボットとAIエージェントの使い分けや、二段構え設計のご相談は、お気軽にお問い合わせください。
- vottia公式サイト：https://vottia.jp/
- AIエージェントプラットフォーム「maestra」：https://vottia.jp/maestra/
- お問い合わせ：https://vottia.jp/contact/
