‹

大規模言語モデル（LLM）と生成AI

シラバスに追加済み・出題あり最終更新日 予想問題へ ↓

大規模言語モデル（LLM：Large Language Model）は，大量の文章で学習し，それまでの文脈から次に続く語を予測することを繰り返して文章を作る AI のモデルです。 文章・画像・音声などを新しく作り出す AI をまとめて生成AI と呼び，LLM はその中心にあります。 試験では「どう学習するか」の用語と，「使うときに何に気をつけるか」の両面が問われます。

シラバスでの扱い

IPA が 2023年12月25日に公開した応用情報技術者試験シラバス Ver.7.0 で，2か所に加わりました（その前の Ver.6.3 にはどちらもありません）。

この改訂は，ペーパー方式では令和6年度秋期試験から適用されています。 当サイトが収録している午前の過去問では，生成AI が1問（著作権に関する問題）出題されていますが， LLM の仕組みや学習の用語はまだ出題されていません。

出典：IPA「情報処理技術者試験及び情報処理安全確保支援士試験における出題範囲・シラバスの一部改訂について」， 応用情報技術者試験 シラバス Ver.7.0（いずれも2026年10月3日に確認）

仕組み：次の語を予測し続ける

LLM は文章をトークン（語や語の一部）に区切って扱い，「ここまでの文章の次に来るトークンは何か」を確率として計算します。 最も確からしいものを選んで付け足し，また次を予測する，という繰り返しで文章ができあがります。 文中のどの語がどの語と関係しているかを捉える仕組みが自己注意（Self-Attention）機構で，これを使ったモデルの構造が Transformer です。

大事なのは，LLM は事実を調べて答えているのではなく，もっともらしい続きを作っていることです。 そのため，事実と異なる内容をもっともらしく書くことがあります（ハルシネーション）。 また，対話の最中にモデル自体が学習し直されるわけではなく，学習した時点より後の出来事は知りません。

学習の手順と，使うときの工夫

用語内容中身を変えるか
事前学習 大量の文章で「次の語の予測」を学ばせ，言葉の一般的な知識を身に付けさせる。こうして作った汎用のモデルを基盤モデルという 変える
ファインチューニング 特定の用途のデータで追加の学習をし，その用途に合わせる。指示に従うように学ばせるものをインストラクションチューニングという 変える
RLHF 人間のフィードバックによる強化学習。複数の回答に人が付けた評価をもとに，望ましい回答を出すように調整する（アラインメントの手法の一つ） 変える
ゼロショット／フューショット 例を示さずに指示だけで解かせるのがゼロショット，指示の中に少数の例を示して解かせるのがフューショット 変えない
プロンプトエンジニアリング 役割・条件・出力の形式などを指示に書き分け，望む出力を得られるように指示を工夫する 変えない

モデルの中身（パラメータ）を学習し直すのか，指示の書き方で対応するのかが，用語を見分けるいちばんの手がかりです。

試験での問われ方（予想）

出題された過去問（1問）

リンク先の年度ページで，問題と解説を読めます。

午前Ⅰ（高度試験 共通）（1問）
  • 令和7年度 春期 問30著作権法及び関連法令によれば，生成 AI を利用して画像を生成する行為又はその生成物の利用が著作…

近い論点で出題された過去問

AI の学習データの扱いや，機械学習の基本の問題です。

予想問題（オリジナル）

当サイトが作ったオリジナルの問題です。IPA の過去問ではありません。

問1大規模言語モデル（LLM）が文章を生成する仕組みの説明として，最も適切なものはどれか。

  1. ア大量の文章で事前に学習しておき，それまでの文脈から次に続く語（トークン）を予測して付け足すことを繰り返して，文章を生成する。
  2. イ質問を受けるたびにインターネット上の最新の情報を必ず検索して回答を組み立てるので，学習した時点より後の出来事も正確に答えられる。
  3. ウ入力された文章を，あらかじめ人が作成した規則と辞書に照らし合わせ，一致した規則に対応する定型の応答を返す。
  4. エ利用者との対話の内容をその場で学習し，対話のたびにモデルのパラメータを更新しながら回答を生成する。
正解と解説

正解：ア

LLM は，学習で身に付けた確率に従って「次に続く語」を予測し，付け足していくことで文章を作ります。

  • イ：検索した文書を与える仕組み（RAG）を組み合わせない限り，LLM は学習した時点より後のことを知りません。検索を組み合わせても，正確さは保証されません。
  • ウ：ルールベースの対話システムの説明です。
  • エ：通常，対話の最中にモデルのパラメータは更新されません。対話の内容は，指示や文脈として与えられるだけです。

問2LLM の利用で，フューショット学習（few-shot learning）に該当するものはどれか。

  1. ア大きなモデルの出力を教師データとして，より小さなモデルを学習させ，同等に近い性能を軽い計算で得る。
  2. イ人が複数の回答を比べて付けた評価をもとに，より望ましい回答を出力するようにモデルを調整する。
  3. ウ特定の業務の文書を集めた追加の学習データでモデルを再学習させ，その業務の用語や言い回しに合わせる。
  4. エモデルのパラメータは更新せず，指示の中に入力と期待する出力の例をいくつか示してから，本来の課題を解かせる。
正解と解説

正解：エ

フューショット学習は，少数（few）の例を指示の中で示すだけで，モデルの中身は変えません。例を示さないものはゼロショット学習です。

  • ア：蒸留（モデル圧縮の手法）の説明です。
  • イ：RLHF（人間のフィードバックによる強化学習）の説明です。
  • ウ：ファインチューニングの説明です。パラメータを更新する点がフューショット学習と違います。

関連する用語

ハルシネーションと RAG　プロンプトインジェクション　AI エージェント