AIエージェントに何を任せるか?|権限設計のテンプレートと判断基準


はじめに

AIエージェントが人の指示を待たずに自ら判断し行動する場面が広がるなか、「どこまで任せて、どこから自分の判断で進めるか」という権限設計における課題が生じています。権限設計を曖昧にしたまま運用すると、機密データへの不正アクセスや訂正できない操作の自動実行といった事故につながりかねません。

こうしたリスクを防ぐには、操作のリスクレベルを分類し、不可逆性・影響範囲・機密度の3つの軸で任せる範囲を定めることが欠かせません。本記事では、その判断基準の考え方から具体的な権限設計の構成、失敗事例まで順を追って解説します。



AIエージェントと権限の前提


従来AIとの自律性の違い

従来のAIは、人間が入力した問いかけに対して結果を返すだけの仕組みでした。一方でAIエージェントは、自ら計画を立て、複数のデータソースにアクセスし、環境からのフィードバックに応じて行動を修正しながら、今までのAIよりも長い時間継続して活動することができます。つまり、人間が常に監視していなくても独立して動作する点が、既存のAIとは決定的に異なります(参照*1)。

初期の大規模言語モデル(LLM)は人間との自然な会話が主な役割でしたが、現在はLLMが自ら考えて行動するAIエージェントへ進化し、ソフトウェアエンジニアリングのあり方を根本から変えつつあります(参照*2)。この自律性の高まりこそが、従来のアクセス管理では対処しきれない新たな権限設計の必要性を生んでいます。


権限設計が必要になる背景

AIエージェントの自律性が拡大するほど、権限の枠組みが追いつかないリスクも増大します。AIエージェントのタスク完了能力は7か月ごとに倍増しているという報告があり、企業のAIガバナンス体制はこの急速な自律性の拡大を織り込んで考える必要があります(参照*1)。

「エージェントに許可する範囲」と「セキュリティを考慮した認可制御の厳格化」は常にトレードオフの関係にあります。権限設計は「便利さ」と「安全性」の折り合いをどこで付けるかという経営判断でもあるため、技術部門だけでなく事業部門も交えた検討が求められます。


アクセス制御・認可制御の基本と三大原則


最小権限・職務分離・監査証跡

アクセス制御は、誰がどの情報や機能にアクセスできるかを管理する考え方全体を指します。その中でも認可制御は、認証された利用者やAIエージェントに対して、どの操作を許可するかを判断する仕組みです(参照*3)。

認可制御が適切に実装されていれば、正当な権限を持った人間だけが機能やデータにアクセスできます(参照*2)。AIエージェントに対しても、人間のユーザーと同様にこの仕組みを適用する必要があります。

どのアクセス制御方式を採用するにせよ、必ず遵守すべき考え方が「最小権限の原則」です。これは「各主体(人間やAIなどのアクセス主体)に対して、アプリケーションを利用するうえで必要となる最低限の権限のみを与えるべきである」という原則です(参照*2)。最小権限と並んで、1つの主体に相反する権限を集中させない「職務分離」、操作の履歴を記録して事後に検証できる「監査証跡」の3つを組み合わせることで、AIエージェントの行動を統制するための基礎ができます。権限設計に取り組む際は、まずこの3つが自社のシステムでどの程度実装されているかを確認するところから始めるとよいでしょう。


アクセス制御モデルの使い分け

企業のアクセス制御モデルとしては、役割ベースのアクセス制御(RBAC)、属性ベースのアクセス制御(ABAC)など、複数の方式が使われています。RBACは、「部長」や「一般社員」といった役職ごとにアクセスを制御することができ、組織や業務が比較的安定している場面で扱いやすい方式です。一方でABACは、利用者の所属や役割に加えて、アクセス先データの機密度、実行時刻、利用環境なども踏まえてアクセスの可否を決められるため、より細かい制御に向いています(参照*4)。

AIエージェント向けの認可制御では、エージェントが動作する際の文脈に基づいて権限を決定する「文脈依存型の認可制御(コンテキストアウェア)」が有効です。ここで考慮される文脈には、リクエスト元ユーザーの属性、AIエージェント自体の属性、アクセス先リソースのセキュリティレベル、実行されるアクションの種別があります(参照*2)。

自社の業務フローに合わせて、アクセス制御の各方式をどう組み合わせるかを検討する際は、エージェントが扱うデータの機密度と操作の種類を洗い出すことが出発点になります。


「任せる・止める」の判断基準


リスクレベル分類と権限設定

AIエージェントに「どこまで任せるか」を決めるには、操作ごとのリスクレベルを事前に分類しておくことが不可欠です。OWASPのAI Agent Security Cheat Sheetでは、操作とリスクレベルの対応付けが例によって示されています。具体的には、文書検索やファイル読み取りは閲覧中心で比較的小さいリスクレベルであるLOW、ファイル書き込みは内容変更を伴うため注意が必要なMEDIUM、メール送信やコード実行は対外影響や重大な誤作動につながる可能性があるHIGH、データベース削除や資金移動のような取り消しが難しく重大な影響を及ぼし得る操作はCRITICALと分類されています(参照*5)。

この分類をもとに、LOWは自動実行を許可、MEDIUMは事後通知つきで許可、HIGHは事前承認を必須、CRITICALはすべて人間の業務とするなど、権限を設定できます。自社のAIエージェントが扱う操作を棚卸しし、上記4段階のどこに当てはまるかを一覧化する作業が、権限設計の最初のステップです。


不可逆性・影響範囲・機密度の三軸

リスクレベルの分類をさらに精緻にするためには、「不可逆性」「影響範囲」「機密度」の3つの軸で操作を評価するとよいでしょう。OWASPは、影響が大きい操作や、取り消しの利かない不可逆的な操作については、人間による明確な承認のもと実行するために、操作前にプレビューを表示する仕組みの実装や、ユーザーが操作を中断・ロールバックできる手段を確保すべきと指摘しています(参照*5)。

たとえば、データベースのDELETE操作は不可逆性が高く、全社のマスターデータである場合は影響範囲も広く、さらに個人情報を含むと機密度も高いため、3軸すべてで最高ランクのリスクと判定されます。一方、社内ナレッジの検索は不可逆性がなく影響範囲も本人に限られるため、自動実行を許容しやすい操作です。権限設計テンプレートを作る際には、操作一覧に対してこの3軸でスコアリングし、合計スコアで承認フローの要否を決める方法が有効です。


ヒューマンインザループの配置基準

ヒューマンインザループは、業務効率とリスク統制の両方を成り立たせるための配置基準です。

すべての操作に人間の承認を挟むと業務効率が大幅に下がり、逆に承認をまったく挟まなければリスクが制御不能になります。このバランスを取る手法が「ヒューマンインザループ(人間による確認工程の組み込み)」です。OWASPは、操作のリスクレベルに基づいて自律性の境界を設定し、エージェントの判断と行動について明確な監査証跡を残すべきだと指摘しています(参照*5)。

たとえば、金融業界では資金移動のようにCRITICALな操作が多いため、ヒューマンインザループの配置比率は自ずと高くなります。


権限設計テンプレートの構成


静的制御と動的制御の組み合わせ

権限設計は、固定ルール(静的制御)と実行時ルール(動的制御)を組み合わせることがポイントです。単一の対策に頼るのではなく、複数の方法で防御する多層防御の考え方が基本になります。たとえば、ツール・アプリケーション・クラウド基盤という3つの階層で構成される設計手法が提案されています(参照*6)。

静的制御の具体例として、BigQuery向けのAIエージェント設計で用いられるWriteModeがあります。BLOCKEDモードでは、許可された文章のみが生成されるようになり、データ変更操作はすべて遮断されます。一方で、ALLOWEDモードではすべてのSQL操作が許可されます(参照*6)。

動的制御としては、文脈に基づいて権限を決定する認可制御を組み合わせ、リクエスト元の属性やリソースのセキュリティレベルに応じてWriteModeを切り替える仕組みが考えられます。テンプレートの設計時には、静的な初期値をどのモードにするか、動的にどこまで緩和するかを操作ごとに決めておくことが必要です。


段階的自律モデルの設計例

権限設計テンプレートのもう1つの柱が、エージェントの自律性を段階的に引き上げるモデルです。たとえば、安全な試験環境での検証を行い、実績に応じて権限レベルを引き上げつつ、部門横断の監督委員会を通じてガバナンス体制を継続的に改善するというプロセスが提唱されています(参照*1)。

WriteModeを例に考えると、たとえば導入初期はBLOCKEDモードで読み取り専用に限定し、1か月間ログを分析して誤動作がないことを確認できたら、権限を少し緩和したモードに移行する、といった設計が可能です。物流業界であれば在庫照会から始めて出荷指示の自動化へ広げる、小売業であれば商品情報の検索から価格変更の提案へ段階を進めるといった業種別の応用も見込めます。


典型的な失敗例


過剰権限・過剰機能・過剰自律

権限設計の失敗は、大きく3つのパターンに分けられます。過剰な機能性・過剰な権限・過剰な自律性の3点です(参照*7)。

「過剰な機能性」とは、エージェントがシステムの意図した操作に不要な機能にアクセスできる状態です。次に、「過剰な権限」とは、エージェントに必要最小限以上の権限が付与されている状態です。最後に「過剰な自律性」とは、大きな影響を及ぼすアクションを人間の確認なしに実行できる状態です(参照*2)。

実際に起こりうる事故として、エージェントが誤ってUPDATEやDELETEといったデータ変更クエリを生成・実行し重要なデータを破壊するケースや、本来アクセスが許可されていない機密データ(個人情報など)にアクセスしてユーザーに回答してしまうケースなどが報告されています(参照*6)。これらはいずれも、最小権限の原則が徹底されていないことが原因となっています。


動的な権限制御の落とし穴

動的な権限制御は、柔軟さを生む一方で、見落としが増えるリスクを抱えています。

AIエージェントは社内データベースへのアクセス権限を持っているが、ユーザーである一般の従業員にはその権限が与えられていない、というケースを考えてみましょう。認可制御を緩い方向に設定すると、タスクは想定通りに進みやすくなりますが、本来従業員が知り得なかった情報をエージェント経由で取得されるおそれがあります(参照*2)。

対策としては、エージェントが返す情報にも、ユーザー側の権限フィルタを適用することが求められます。製造業の品質管理データや金融業界の顧客口座情報など、部門間で閲覧権限が厳密に分かれている業務では、この落とし穴の影響が特に大きくなります。動的制御を導入する際は、エージェント権限とユーザー権限のどちらを優先するか、ルールをテンプレートに明記しましょう。


おわりに

AIエージェントの権限設計では、リスクレベルの分類、不可逆性・影響範囲・機密度の3軸による判断基準の明確化、そしてヒューマンインザループの適切な配置がポイントになります。静的制御と動的制御を組み合わせたテンプレートを用意し、段階的に自律範囲を広げることで、利便性と安全性の両立を図れます。

過剰権限・過剰機能・過剰自律といった失敗パターンを事前に把握し、自社の設計を照らし合わせておくことで、監査対応も含めた実効性のあるガバナンスにつながります。まずは自社のAIエージェントが実行する操作を確認して、本記事で示した判断基準をもとに、権限設計の見直しを進めてみてください。