解説

• 〔aについて〕
  〔予備調査の結果〕(3)④には、追加の機械学習は、類義語DBの精度を高めるために実施されるとあります。図1を確認すると、類義語DBの学習機能に入力されるデータとして、❶学習用データ、❷テスト用データ、❸手作業入力データの3種類があることがわかります。この3つが解答の候補となります。
  
  機械学習モデルの作成では、学習データを使用してモデルにパターンを学習させ、テストデータを使用して学習済みモデルの評価を行います。学習済みモデルの評価は、モデルが未知のデータに対してどの程度の予測精度があるかを測定することが目的なので、テストデータは、本番環境のデータ分布を正しく反映し、代表性が確保されていることに加え、学習に使用していないデータであることが必要不可欠です。
  
  本問ではPoCにおいて「CB回答履歴から…学習用データ及びテスト用データとして…抽出した」とあります。一般的には、全データを学習用データとテスト用データとに分割することによってデータの独立性を確保しますが、テストデータに学習データと重複するデータが含まれている場合、テスト結果は良好でも、本番環境では性能が発揮できないことがあります。このように本来モデルの学習時に使用すべきでない情報が含まれてしまう現象を「データリーク」といい、機械学習モデルの構築において注意すべき点の一つとされています。これが表1項番1が想定するリスクです。
  
  以上より、追加の機械学習においてテストデータと別に準備していることを確認すべきデータとは、学習用データであると判断できます。したがって、空欄aには「学習」が当てはまります。
  
  ∴a＝学習
  
  〔bについて〕
  表1項番2のリスクは「類似語DBの整備が不十分であったことによって，新製品に関する質問に対して，新CBが適切に回答しない」というものです。類義語DBの整備に関しては、〔予備調査の結果〕(3)②において❶手作業入力と❷現行CBのCB回答履歴を用いた機械学習の2つの方法が述べられています。
  
  空欄に当てはまるのはどちらかになりますが、課題となっているのは発売前の新製品に関する質問への対応ですから❷の方法は使用できません。現行CBの回答履歴には発売前の新製品に関する情報は含まれていないためです。このため、類義語DBの整備は手作業入力機能を使用して行われるべきであり、監査手続では開発計画がそのようになっているかを確認することになります。したがって、空欄bには「手作業入力」が当てはまります。
  
  ∴b＝手作業入力
  
  
• 〔cについて〕
  空欄には、本番移行の可否判断において使用する評価項目ごとに設定されるものが入ります。モデルの評価に関連した記載を本文中から探すと、(3)③において「回答満足率を指標にして，効果の目標レベルを定め，新CBの有効性を判断している」とあります。したがって、開発計画でも評価項目ごとに目標レベルを定め、その基準をもとに本番移行の可否判断を行うことが適切であると読み取れます。したがって、空欄cには「目標レベル」が当てはまります。
  
  なお、同じ5文字で「回答満足率」や「測定の指標」などの解答も想定されますが、これらは評価項目そのものですので適切ではありません。
  
  ∴c＝目標レベル
  
  
• 〔dについて〕
  監査手続案の項番4は、チャットボットに限らず、システムを導入する際のテスト一般についてのコントロールです。システム管理基準によれば、テスト工程に当たる「検証」のフェーズでは主に次の4つの管理活動を実施することとされています。

  計画

  検証の範囲、手順、関連システム及びサービス、及び制約を明確にし、スケジュールを調整する

  結果のレビュー

  システム要件を反映していることを示す裏付けを入手し、レビューする

  結果の文書化と承認

  検証結果を文書化し、承認を得る

  不具合の改善

  検証で発見された不具合及び改善結果を記録し、不具合の改善状況をフォローアップする

  表1項番4の監査手続のうち、「テストの手順が策定され」が1つ目の計画、「テスト結果と不具合の対応状況を文書化して保存」が3・4つ目の管理活動に当たりますから、空欄dには残った「レビュー」が当てはまります。
  
  また、システム管理基準では、開発プロセスの実装、統合、検証、受入テスト、本番環境への移行の各フェースでレビューを実施することとされています。このような一般的なシステム開発の知識から回答を導出することもできると思います。
  
  ∴d＝レビュー

解説

• 〔eについて〕
  〔予備調査の結果〕(3)①では「PoCでは，機械学習によって類義語DBを整備する際のサーバ処理に想定以上の時間を要していた」とあります。この記述より、サーバの処理能力が不足している現状については把握することができます。選択肢の非機能要件のうち処理能力に対応するのは「イ：性能要件」です。性能要件は、システムが満たすべき処理速度や応答時間、スループット、同時接続数、負荷耐性などに関する要件を指します。
  
  その他の非機能要件は以下のとおりです。

  外部インタフェース要件

  開発するシステムとそれ以外のシステムとの間で発生するデータのやり取りに関する要件

  セキュリティ要件

  システムを機密性・完全性・可用性を確保するための認証、アクセス制御、暗号化などの要件

  保守性要件

  システムの変更や修正を容易にし、長期間安定して運用できるようにするための要件

  ∴e＝イ：性能要件
  
  
• 〔fについて〕
  類義語DBの整備が不十分であることによって、発売前の新製品以外でも新CBが適切な回答をしないという問題があることが指摘されています。空欄fの前に「現行の」とあるので(1)"現行CBの概要と課題"を見ると、発売前の新製品以外に、次の2つの点を確認することができます。
  • 顧客から寄せられる問合せ数は，季節性のある製品では季節によって偏りがある
  • 顧客が入力した曖味な言葉に対応できない
  後者は、(3)①で「（新CBは）顧客の曖味な言葉遣いに対してある程度問合せ対応可能」との記載があり、新CBでは改善される見込みであると説明されています。一方、前者の「季節性のある製品」については特に改善策が見当たりません。
  
  PoCではCB回答履歴のうち6か月分を抽出対象としています。季節性のある製品の問合せ数は季節によって偏りがあるため、仮にPoCと同じ範囲で学習データを用意した場合、一部の季節性のある商品については学習データが不足してしまうことが予想されます。これでは適切な回答を期待することはできません。製品を網羅するには、少なくとも1年を通じたデータが必要であり、この点は、監査部長の「製品を網羅する観点から学習データを準備する計画になっているか確かめる」という指示とも整合しています。したがって空欄fには「季節性のある製品」が当てはまります。
  
  ∴f＝季節性のある製品
  
  〔gについて〕
  プロジェクト運営委員会が、当初予定の導入効果が得られる見込みを評価するタイミングが問われています。〔予備調査の結果〕(2)において、プロジェクト運営委員会は開発計画書案を承認する予定であり、その後、「開発プロセスにおいて要件定義，追加の機械学習を含む設計，実装，テスト，受入テスト，及び本番移行を予定している」とありますので、これらフェーズが解答の候補となります。
  
  本プロジェクトでは「設計後においても，本番運用向けの類義語DBの学習では，再学習を実施する」ため、最終的なパフォーマンスはプロジェクトの最終段階まで確定しません。また表1項番3は、受入テストの結果を踏まえて判断する段階に関する記述です。この2点を考慮すると、判断時期は受入テストの次のフェーズである「本番移行」の前しかありません。
  
  ∴g＝本番移行
  
  〔hについて〕
  現行CB導入時における問題点とは、(1)⑤の記載の「現行CBを導入した際には，…新製品に関する問合せに対して適切に回答できないなど，本番移行後に混乱を招く問題点があった」というものです。この問題が発生した原因は「受入テストを顧客サービス部員が参加せずに開発担当者だけが実施した」ことですから、同じ轍を踏まないためには、新CBの受入テストはシステムオーナーである顧客サービス部の主導で実施される必要があります。したがって空欄hには「受入テスト」が当てはまります。
  
  ∴h＝受入テスト