深層学習などで作った AI は精度が高い反面，なぜその答えになったのかが外から分かりにくい（ブラックボックス）という弱点があります。 融資の審査や採用の選考，医療のように人の生活を左右する場面では，理由が説明できなければ使えません。 その理由を人が理解できる形で示す技術を説明可能な AI（XAI：Explainable AI）といいます。 そして，AI を公平・安全に使うために，組織や社会が原則やルールを決めて守らせる仕組みを，ここでは AI ガバナンスと呼びます。
シラバスでの扱い
IPA が 2023年12月25日に公開した応用情報技術者試験シラバス Ver.7.0 で，「大分類8：経営戦略」の「中分類21：ビジネスインダストリ」に 「AI の利活用」の項目が新しくできました（その前の Ver.6.3 にはありません）。その中の2か所に，このページの内容が並んでいます。
| 項目 | 主な用語例 |
|---|---|
| AI 利活用の原則及び指針 | 人間中心の AI 社会原則，AI 利活用ガイドライン，AI 開発ガイドライン，信頼できる AI のための倫理ガイドライン，AI Risk Management Framework（AI RMF） |
| AI を利活用する上での留意事項 | 説明可能な AI（XAI），説明可能性，解釈可能性，大局説明，局所説明，ヒューマンインザループ（HITL），AI 利用者の関与によるバイアス，アルゴリズムのバイアス，AI サービスの責任論，ディープフェイク，AI サービスのオプトアウトポリシー，AI 倫理アセスメント |
この改訂は，ペーパー方式では令和6年度秋期試験から適用されています。Ver.7.2（2026年1月8日公開）でも同じ用語例のままです。 当サイトが収録している過去問（令和7年度秋期まで）では，この中で出題されたのはディープフェイクだけです（高度の午前Ⅰ 令和6年度秋期 問13）。 XAI，ヒューマンインザループ，人間中心の AI 社会原則などは，まだ出題されていません。
出典：IPA「情報処理技術者試験及び情報処理安全確保支援士試験における出題範囲・シラバスの一部改訂について」， 応用情報技術者試験 シラバス Ver.7.0（いずれも2026年10月4日に確認）
XAI：大局説明と局所説明
| 説明の種類 | 何を説明するか | 融資の審査の AI の例 |
|---|---|---|
| 大局説明 | モデル全体として，どの入力（特徴量）が判断に強く効いているか | 「この AI は，年収と勤続年数を最も重く見ている」 |
| 局所説明 | ある1件の判断について，その結果になった理由 | 「A さんが否決されたのは，借入残高が多いことが最も効いたため」 |
説明の手前にある考え方として，解釈可能性と説明可能性があります。 一般に，決定木や線形のモデルのようにモデルそのものの仕組みを人が読み取れる性質を解釈可能性， 仕組みが複雑なモデルでも出した結果の理由を後から示せる性質を説明可能性と呼び分けます。 精度の高い複雑なモデルほど解釈しにくくなるので，XAI の技術で説明を補います。
AI を使うときの留意事項
| 用語 | 意味 |
|---|---|
| ヒューマンインザループ（HITL） | AI の判断の流れの中に人の確認や修正を組み込むこと。重要な判断を AI に任せきりにしない |
| アルゴリズムのバイアス | 学習データの偏りやモデルの作り方によって，特定の属性の人に不利な結果が出ること |
| AI 利用者の関与によるバイアス | 利用者の入力や評価（フィードバック）を取り込むうちに，AI の出力が偏っていくこと |
| AI サービスの責任論 | AI の判断で損害が出たとき，開発者・提供者・利用者の誰がどこまで責任を負うかという問題 |
| AI サービスのオプトアウトポリシー | 利用者が入力したデータを AI の学習に使わせないよう選べるかどうかなど，データの扱いを利用者が拒める仕組みの方針 |
| AI 倫理アセスメント | 開発や導入の前に，公平性・プライバシー・安全性などの倫理上のリスクを洗い出して評価すること |
| ディープフェイク | 深層学習で作った，本物と見分けにくい偽の画像・音声・動画。なりすましや偽情報に悪用される |
AI ガバナンス：国の原則とルール
日本では 2019年3月29日，統合イノベーション戦略推進会議が「人間中心の AI 社会原則」を決定しました。社会が守るべき原則として，次の7つを挙げています。
- 人間中心の原則
- 教育・リテラシーの原則
- プライバシー確保の原則
- セキュリティ確保の原則
- 公正競争確保の原則
- 公平性，説明責任及び透明性の原則
- イノベーションの原則
XAI は6つ目の「公平性，説明責任及び透明性」を技術で支えるものといえます。 その後，総務省と経済産業省が 2024年4月19日に，開発者・提供者・利用者の取組をまとめた「AI 事業者ガイドライン（第1.0版）」を公表しました。 さらに人工知能関連技術の研究開発及び活用の推進に関する法律（AI 法）が 2025年6月4日に公布・一部施行され， AI 戦略本部の設置などを含めて 2025年9月1日に全面施行されています。
出典：内閣府「人間中心の AI 社会原則」， 経済産業省「「AI事業者ガイドライン（第1.0版）」を取りまとめました」， 内閣府「人工知能関連技術の研究開発及び活用の推進に関する法律（AI法）」（いずれも2026年10月4日に確認）
試験での問われ方（予想）
- 午前：XAI・大局説明と局所説明・ヒューマンインザループの説明を選ぶ形。人間中心の AI 社会原則に含まれる原則を選ぶ形
- ITストラテジスト・システムアーキテクトの午後：AI を業務に入れる事例で，判断の理由を説明できるようにする設計，人の確認を挟む場所，学習データの偏りへの対策。 ITストラテジストの午後Ⅱ 令和6年度 問1の問題文は，新しい情報技術を事業に使うときのリスクの例として「AI倫理などのコンプライアンスに関するリスク」を挙げています
- システム監査技術者・ITサービスマネージャ：AI を使う業務の管理や監査で，倫理アセスメントの実施やデータの扱いの方針を確かめる観点
近い論点で出題された過去問
ディープフェイク，AI への攻撃（敵対的サンプル），学習の失敗（過学習）の問題です。
- 午前Ⅰ（高度試験 共通） 令和6年度 秋期 問13ディープフェイクを悪用した攻撃に該当するものはどれか。
- 情報処理安全確保支援士 午前Ⅱ 令和6年度 秋期 問2AI による画像認識において，認識させる画像の中に人間には知覚できないノイズや微小な変化を含める…
- 午前Ⅰ（高度試験 共通） 令和4年度 秋期 問2AI における過学習の説明として，最も適切なものはどれか。
予想問題（オリジナル）
当サイトが作ったオリジナルの問題です。IPA の過去問ではありません。ほかの用語の予想問題の一覧
問1説明可能な AI（XAI）における局所説明の例として，適切なものはどれか。
- アAI の判断の途中に担当者の確認を挟み，担当者が承認した結果だけを利用者に通知する。
- イ学習に使ったデータを属性ごとに集計し，特定の属性のデータが極端に少なくないかを確かめる。
- ウある申込者の審査結果について，結果に最も強く影響した入力項目を示す。
- エモデル全体として，どの入力項目が判断に強く影響しているかを順位付けして示す。
正解と解説
正解：ウ
局所説明は，ある1件の判断について，その結果になった理由を示します。
- ア：ヒューマンインザループ（HITL）の例です。
- イ：アルゴリズムのバイアスを防ぐための，学習データの点検です。
- エ：モデル全体の傾向を示す大局説明の例です。
問2A 社は，応募書類から面接に進む候補者を選ぶ AI を導入する。過去の採用実績を学習させたところ，特定の性別の応募者の評価が低く出る傾向が見つかった。A 社が導入に当たって行う対策として，最も適切なものはどれか。
- アAI の評価をそのまま合否に使い，人の判断による偏りが入らないようにする。
- イ学習データの偏りを見直すとともに，AI の評価の理由を確認できるようにし，最終的な判断には人が関与する。
- ウ評価の傾向が外部に知られないよう，AI を使っていることを応募者に知らせない。
- エ評価の精度を高めるために，過去の採用実績のデータをそのまま増やして学習し直す。
正解と解説
正解：イ
過去の実績に偏りがあると，AI はその偏りをそのまま学びます（アルゴリズムのバイアス）。データを見直し，評価の理由を説明できるようにし（XAI），人が最終判断に関与する（ヒューマンインザループ）のが適切です。
- ア：偏ったまま自動で決めることになり，公平性の問題が残ります。
- ウ：人間中心の AI 社会原則の「公平性，説明責任及び透明性の原則」に反します。
- エ：偏った実績を増やしても偏りは直りません。
関連する用語
大規模言語モデル（LLM）と生成AI ハルシネーションと RAG AI エージェント 内部統制（全般統制・業務処理統制）