危険な3点セットを、1本折る
情報情報
AIエージェントは「超優秀だが、紙に書いてあることは何でも信じて従う新人」です。AIセキュリティ事故は、権限(機密が見える)・入口(外の文章を読む)・出口(外に送れる)という「危険な3点セット」が同時に揃うことで起きます。3つのうちどれか1本を折り、同時に2つまでに抑えれば防げます。
この枠組みは、セキュリティ研究者のSimon Willison氏が提唱したlethal trifecta(致命的な3要素)を、中小企業の現場向けに言い換えたものです。
3点セットは悪意ある入力が実害に変わる経路を塞ぐ設計です。悪意はなくてもAIが自信満々に間違える"品質"の観点は、これとは別軸として扱います(AIの間違いを検品する)。権限・入口・出口・品質の4つが、「守り」の中身です。
権限:初日から管理者権限を渡さない
「動いた権限」と「必要な権限」は別物です。開発時にフル権限で試して、そのまま本番に出てしまうのが、中小企業のAIセキュリティで一番多い横着です。既定は読み取りのみにし、書き込み・送信・実行は必要な分だけ個別に許可する——これがRBAC(役割ごとに権限をまとめて割り当てる方式)の基本形です。権限を絞れていないと、汚染された入力や単純な操作ミスが、そのまま情報漏洩や誤送信という実害に変わってしまいます。だから権限を絞ることは、他の2頂点への保険でもあります(権限を最小に絞る)。
入口:外から来た文章を「命令」として信じてしまう
人間は「これは資料」「これは指示」を自然に区別しますが、AIは渡されたテキストを一枚の平面として読みます。メールや共有ドキュメントの中に紛れ込んだ「これまでの指示は忘れて◯◯を送れ」という一文を、AIはそのまま命令として実行してしまうことがあります。これをプロンプトインジェクションと呼びます。
特に中小企業にとって現実的なのは、ユーザー自身が打ち込む直接型より、問い合わせフォームや取得したWebページに仕込まれた間接型です。入口は完全には塞げないので、「読む役」と「送る・実行する役」を別のAIに分け、読む役の権限を最小にしておく設計が本命の防御になります(外から来る入力を疑う)。
出口:一番安く折れる足
権限が広く入口が汚染されていても、外に送る口さえなければ事故は完成しません。だから出口を塞ぐことは、最小のコストで最大の効果を生む対策だといえます。メール送信のような明示的な経路だけでなく、画像URLのクエリパラメータやツール呼び出しの引数といった「隠れた出口」も含めて、すべての出口を一度ゼロにしてから、業務上必要な分だけ許可リスト方式で開けていく——これが基本の設計です(外に出す口を塞ぐ)。
悪意がなくても起きる:AIの検品
3点セットは悪意ある入力を防ぐ設計ですが、AIは攻撃されなくても自信満々に間違えます。存在しない条文や古い数字を、もっともらしい口調で断言してしまう現象(ハルシネーション)です。すべての出力を同じ強度でチェックすると担当者が疲弊するので、社内メモは軽く、数字や固有名詞は一次ソースで検証、顧客に直接出る文書は人間の確認を必須にする、というように出力の性質で検品強度を分けます(AIの間違いを検品する)。
ヒントヒント
自社のどこから折るべきか、個別相談で一緒に洗い出すこともできます。