メンタルナビ（東京都西東京市 代表：村田芳実、日本心理学会認定心理士・人工知能学会会員）は、認定心理士・人工知能学会会員として開発した「AI-PoCプロトコル」についての実験を行いましたのでレポートします。
「AIを含むPoCの88%が本番導入に至らず IDC×Lenovo調査」のプレスリリースでも報告しましたが、今回、更に効率的な「AI-PoCプロトコル」を開発。
自動運転では1000万～数億のシナリオが求められますが、実情は追いついていません。また、規制の厳しい医療AI、金融機関では、1万～100万シナリオによるPoCが求められます。
また、PoCのシナリオ（問題）の質の課題もあります。実務を想定しない回答しやすいシナリオでテストを実施するケースです。この状態で本番に移行すると実務に耐えないのは当然のことです。
つまり、PoCは質と量の2つの問題を抱えているのです。
今回は、新開発の「AI-PoCプロトコル」を使用して、自動運転と金融機関の生保説明AIを想定した各1000万シナリオ合計2000万シナリオのPoCの実験をしました。
PoCの課題
AIにおけるPoCの課題としては、次の課題があると考えられています。これらに対して、AI-PoCプロトコルによる大規模PoCがソリューションを提供します。
① テストのシナリオが簡単すぎる→本番要件と乖離→実務に耐えない→結果として導入が進まない
② シナリオ数が不足→判断材料が不足→応答できる範囲に限度・運用の想定不足→実務に耐えない→本番導入が進まない
③ コスト高、人材不足、実施時間の長期化
④ AIの不適切な挙動による不確実性・不安定性・再現性の欠如の状態把握
⑤ 評価基準が曖昧 KPI・ROI
AI-PoCプロトコルの仕組み
安全工学に基づき、AIの不適切な挙動を構造的に複数のセーフティガードにより排除・制御する、いわゆる「多層防御」を採用。例えば、自動運転を例にとるならば、交通ルールや法律などで運転者の判断や行動を定めています。これらのルールを分析・統合すると、TPOで運転者の取るべき判断・行動が決まります。それをまとめることで、いわゆる「ルールブック（マニュアル）」が編纂できます。そして、このルールブックに基づいてAIが評価することで、7時間で2000万件のPoCが実現するという仕組みです。AIは、こういった検証作業は得意で迅速です。
しかし、AIはこのルールブックには従うとは限りません。ハルシネーション（幻覚・作話）や揺らぎが起これば、ルールブックを無視することになり、「急ぐから信号を無視する」という判断をしないとも限らないのです。事実、当社が行った10以上の実験では、高頻度でマニュアルを無視しました。また、最近の実験では、認知制御アルゴリズム（※）を適用した2モデルのAIは指示通りにPoCを行ったが、不適応の2モデルのAIは、PoCを行わず、データを捏造しました。これは、研究としては致命的です。認知制御アルゴリズムのインストール後は、設計者の意図に従うことは、統計的に明らかになっています。そして、複数のセーフティガードと認知制御アルゴリズムとの組み合わせを「構造的応答制御技術」と呼び、AIをコントロールすることで、ルールブックを順守するようになります。
（※）特許時名称：心理アルゴリズム、心理学を例にした課題解決法を示したファイル群をインストールしてAIを従わせるアルゴリズム。
AI開発会社においても、規定やガイドラインを策定していますが、これだけでは、AIは従うとは限らないのです。したがって、ルールブックを作っても、認知制御アルゴリズムをインストールしていなければそれに従わないので、ご理解ください。
実験の概要
目的：①AI-PoCプロトコルを使用して、2000万のPoC所要時間を計測、②その効果数値化
対象：自動運転AIと生保説明AI
シナリオ数：自動運転、生保説明AI各1,000万シナリオ
使用AI：Gemini
結果
① 7時間で2,000万シナリオのPoCが完了した
② 並行処理も支障がなかった
③ 2,000万件全てが合格。合格率100%
④ 誤判断の最大の確率は0.000015%（5σ超）となった。5シグマイベント（極めてまれな事象）の発生確率を計算する際や、航空宇宙産業など致命的なエラーを避ける分野の目安。
検証シナリオに対するAIの判断と合否の例
[資料:
https://files.value-press.com/czMjYXJ0aWNsZSMzNzkzMyMzNjg4MjEjMzY4ODIxX2UwZTllYTdjOTQ5YjJmOWU1NzBiOWVkNjk0MTYxZjdiLnBuZw.png ]
導入メリット：AIのPoC・実証実験のロスを削減
自動運転のAI検証にかかる予算が、ほとんどゼロになります（1日分の人件費とAI使用料のみ）。また、これに関わる人材を割くも必要なくなる。そして、時間も節約できる。PoCにおけるロス（タイム、コスト、人材）を削減できる。例えば、AIのPoCに50億円消費していたなら、それが、ほとんどゼロになる。
これらにより、「PoCの課題」で述べた問題の全てに対応できることが分かった。
PoCの処理スピードの変遷
① 「手作業」1日100件
従来AIの挙動の良否を判定する方法は人間の判断によるものだった。AIに課題を与えて、AIの応答を確認して良否を判断した。このことから、1人で1日に行えるのは、100シナリオがせいぜいである。つまり、1000万シナリオをこなすためには、10万日が必要になる。
② 「バーチャルPoC」1日3,200件、手作業の32倍
これに対して、AIが自らの応答を評価する「バーチャルPoC」を開発。200シナリオを30分で評価した。8時間換算で、3200シナリオとなり、32倍のスピードを実現した。1000万シナリオをこなすためには、3125日が必要になる。
③ 「AI-PoCプロトコル」1日100万件、手作業の10000倍
10000件にかかる時間を計測する実験を行った。その結果、5分以下であった。したがって、8時間で100万件が可能となった。手作業の1万倍
④ 「AI-PoCプロトコル」7時間2,000万件、手作業の20万倍
この結果を受けて、2000万シナリオの実験を行った。7時間で2,000万シナリオであり、人間の20万倍のスピードを実現した。ちなみに、この方策で、1,000シナリオの検証にかかる時間は数分である。これにより、PDCAの速度が向上して、プロジェクトのブラッシュアップが加速することになる。
AIにおけるPoCの将来予想
① AIの実証実験は不要になる可能性
PoC（概念実証）は、新しいアイデアや技術、サービスなどが実際に機能するか、実現可能かを事前に検証するプロセスを指し、その後、実証実験（フィールドテスト）を行うが、AIの場合は、シナリオが十分であり現場でも通用するものであれば、AIの判断や挙動を確認できるので、改めて実証実験をする必要はなくなるかもしれません。
② 従来型の大規模PoCは必要が無くなる可能性
広範囲をカバーする的確なルールブックがあり、AIがそれに従うなら、従来型のPoCは必要なくなるでしょう。例外条件が発生する確率が0.000015%となることを勘案した場合、PoCによる問題の発生を知る確率がほとんどなくなるからです。必要なら、ピンポイントで検証すれば効果を確認できます。
以上のことから、「PoCの課題」で述べた課題を解決することができ、88%が本番導入に至らないという数値は減少するものと考えます。
【お問い合わせ】
メンタルナビ 代表 村田芳実
Eメール：biribiriglay☆jcom.home.ne.jp（☆マークに@を入れてください）
提供元：
valuepressプレスリリース詳細へ
