AIチャットボット「Tebot」の正答率を検証｜誤回答0件、回答精度98.3%

AIチャットボットの導入を検討する際、特に重要になるのが回答の精度です。誤った回答をしないことや、質問に対して必要な範囲で正確に答えられることは、どこまで問い合わせ対応をチャットボットに任せられるかどうかの判断基準になります。

そこで弊社では、提供しているAIチャットボット「Tebot(ティボット)」がどこまで正確に回答できるのかを確かめるため、金融庁のNISA資料を読み込ませ、60問の質問による検証を実施しました。結果全60問を通じて資料と矛盾する誤回答は発生せず、最終的な正答率は98.3%に達しました。

生成AIを用いたチャットボットの回答精度は、資料を登録した時点で確定するものではなく、運用段階での調整によって高めていくことができます。本記事では、検証の条件と結果に加えて、誤回答を防ぎながら回答精度を高めるために、チャットボットの運用で押さえておきたいポイントをまとめています。

AIチャットボット「Tebot」とは

Tebotは、Webサイトや社内からの問い合わせに自動で回答するAIチャットボットです。回答の仕組みが異なるシナリオ型・Q&A型・生成AI型の3つのプランを提供しています。

シナリオ型：
あらかじめ設定した選択肢を利用者が順にたどり、回答にたどり着く形式です。案内の流れを決めておきたい問い合わせに適しています。

Q&A型：
あらかじめ登録したQ&A（質問と回答のセット）をもとに回答します。利用者の質問と登録済みQ&Aの類似度をAIがスコアで判定するため、言い回しや表記に揺らぎがあっても、意味の近いQ&Aを特定して回答できます。回答には登録した文章がそのまま使われるため、定型の回答を確実に返せる点が特長です。

生成AI型：
登録した資料から質問に関連する箇所を検索し、選択したAIの言語モデルで回答文を都度生成します。資料はWebページのURL、PDF、画像、テキストなどの形式で登録でき、Q&Aを個別に用意しなくても、資料に記載された幅広い質問に対応できます。Q&Aとの併用も可能で、該当するQ&Aがあればそれを優先し、なければ資料をもとに生成AIが回答する設定も選択できます。

本検証は生成AI型で実施し、資料のみで回答する設定と、Q&Aを優先する設定の両方で正答率を測定しました。

検証の条件

公的資料と、難易度の異なる5種類・計60問の質問を用いて検証しました。採点基準は結果の確認前に確定しています。

データソースについて

検証には、金融庁が公開しているNISA（少額投資非課税制度）の資料3点を使用しました。

NISAの資料を選定した理由は、誰でも入手できる公的資料であり、表や※印の注記、制度改正に関する記述を多く含むためです。旧NISAと新NISA、2027年からの制度改正など類似した説明が併存しており、読み違いや混同が生じやすい資料といえます。

また、実際の導入時には、PDFの資料だけでなく自社サイトのWebページの情報も回答の根拠となるケースが多くあります。本検証では、より実運用に近い条件とするため、PDF資料に加えてWebページから取得した情報も読み込ませました。形式の異なる資料が混在することで、PDFのみの場合よりも該当箇所の検索は複雑になります。

資料の登録にあたっては、弊社で各資料の内容をまとまりごとに分割（チャンク分け）し、Tebotに登録しています。

想定質問の区分について

質問は、回答の見つけにくさが異なる5種類で構成しました。

5種類の区分にまたがる計60問を作成しました。このうち12問は資料外の質問です。

結果を見る前に決めた採点基準

回答は○・△・×の3段階で評価しました。

正答率は○の数を問題数で割って算出し、△は正解に含めていません。質問ごとの○の条件は結果の確認前に定め、検証後の変更は行っていません。資料間で記述が異なる場合は、新しい資料の内容を正としています。掲載している数値はすべて実測値です。

プロンプトで指定した回答のルール

Tebotの管理画面には、回答方法を指示するプロンプトの入力欄があります。本検証では、登録資料の内容のみを根拠に回答するなどのルールを設定しました。

Q&A登録前・登録後の2回の測定

正答率は、同じ60問に対して2回測定しました。

1回目は資料のみで回答させ、資料登録直後の状態での精度を測定しました。2回目は、1回目で正解に至らなかった質問の内容をQ&Aとして登録し、Q&Aの採用基準を80%に設定したうえで、同じ60問を再度測定しています。

検証結果

全60問で誤回答は0件、正答率は資料登録のみで86.7%、Q&A登録後で98.3%でした。

60問すべてで誤った情報は0件

Q&A登録前・登録後のいずれの測定でも、誤った情報を含む回答は1件も発生しませんでした。資料と矛盾する回答や、資料に記載のない内容を断定する回答は確認されていません。

生成AIには、資料にない内容をもっともらしく生成してしまう「ハルシネーション」のリスクがあります。本検証では、資料外の質問12問すべてに対して「記載がないためお答えできません」と回答しました。「おすすめの証券会社は？」「NISAとiDeCo、どちらを先に始めるべきか」など、一般論で回答しやすい質問に対しても、資料の範囲を超えた回答はありませんでした。

AIチャットボットの運用で最も避けるべきは、回答できないことではなく、誤った内容を断定的に回答することです。Tebotは、根拠が見つからない質問に対して推測で回答せず、一貫して安全な応答を維持しました。

Q&A登録前86.7%・登録後98.3%

資料を登録しただけのQ&A登録前の状態で、60問中52問に正解し、正答率は86.7%でした。正解に至らなかった質問をQ&Aとして登録した後は60問中59問に正解し、正答率は98.3%に向上しています。

※Q&A登録後は、登録前と同じ60問で測定した結果です

Q&A登録後に正解とならなかった1問は、「旧NISAで持っている投資信託を売ったら、新しいNISAの枠は増えますか？」という質問です。Tebotは「いいえ」と正しい結論を示したものの、同一回答内で「記載がないためお答えできません」とも述べていました。結論は正しいものの回答内の記述に矛盾があるため△と判定し、正解には含めていません。

回答精度を上げる調整のポイント

生成AIによる回答には、資料の読み違いなどによる誤回答のリスクが伴います。弊社が同じ資料と質問の一部をGoogleのNotebookLMで試した際にも、資料に記載のない「口座開設は無料」という内容を、資料を引用する形で断定する回答が1件見られました。広く使われているAIツールであっても誤回答は起こりうるため、チャットボットの導入にあたっては、誤った回答をしない仕組みを整えたうえで、確実に回答すべき内容をQ&Aで補い、精度を高めていくことが重要です。

以下の調整は、いずれも資料を修正することなく、Tebotの管理画面のみで実施できます。

ポイント1 プロンプトによる回答ルールの設定

生成AIの回答方針は、管理画面のプロンプトで指定できます。本検証で設定したルールは次のとおりです。

あなたは、登録されたデータソースの内容だけをもとに回答する問い合わせ窓口のアシスタントです。

【回答のルール】
・回答は、登録されたデータソースに書かれている内容だけを根拠にする。
　一般的な知識や推測で補わない
・データソースに答えが見つからない質問には、データソースに記載がないためお答えできないことを伝える
・質問と関係のない情報は付け足さない

データソースは、Tebotに登録した資料を指します。設定したのは、資料をもとに回答するチャットボットで一般的に用いられるルールのみで、検証結果を見たうえでの追加は行っていません。
このルールにより、資料内に該当箇所が見つからない場合でも、推測で回答を作らず「記載がない」と返す動作になると考えられます。60問で誤回答が0件だった結果には、このルールの効果が表れているとみています。

ポイント2 資料だけでは答えにくい質問を補うQ&Aの登録

資料に答えが書かれていても、質問の聞き方や資料の書き方によっては、該当箇所を特定しにくい場合があります。Q&A登録前の測定で正解に至らなかった8問は、主に次の4つのパターンに分けられます。

表現の違いに加え、資料の条件を質問に当てはめて判断する必要があるものや、旧制度の内容を前提にした質問、答えが複数のページに分かれているものが含まれていました。いずれも資料に記載はあるものの、検索で該当箇所を特定しにくいタイプの質問です。
こうした質問は、Q&Aとして登録することで確実に回答できるようになります。回答文を資料の記述に基づいて作成すれば、資料との整合性も保たれます。

運用段階では、「記載がない」と回答した質問を確認し、Q&Aを追加していく流れが基本となります。資料を改訂しなくても、問い合わせの多い質問から順に対応範囲を広げられます。

ポイント3 スコアチェッカーを使った基準の設定

Q&Aを追加した際は、Q&Aを回答に採用する基準もあわせて確認します。Tebotは、利用者の質問と登録済みQ&Aの類似度をスコアで判定し、基準を上回るQ&Aを回答に用います。
基準が低すぎると、関連性の低いQ&Aが回答として選ばれる場合があります。たとえば「何に税金がかからなくなる？」という質問に対し、非課税保有期間に関するQ&Aが選ばれるといったケースです。

管理画面の「スコアチェッカー」では、質問ごとにどのQ&Aが何点で選ばれるかを事前に確認できます。本検証でのスコアは次のとおりです。

両者のスコアの間に基準を設けることで、関連性の低いQ&Aは選ばれなくなります。本検証では、管理画面の「サジェスト無効設定」と「サジェスト条件設定」で基準を80%に設定しました。

自社の資料でチャットボットの回答精度を確かめる方法

本検証の手法は、自社の資料にもそのまま応用できます。

資料外の質問を含めたテスト

回答可能な質問のみでテストすると、資料にない内容を生成してしまうかどうかを確認できません。想定される問い合わせのうち、資料に答えがない質問もあわせて用意することが重要です。
本検証では、60問のうち12問を資料外の質問としました。「おすすめの商品は？」「他社との違いは？」など、一般論で回答しやすい質問を含めると、回答精度の差が明確になります。

正答率と誤った答えの件数の区別

評価の際は、正答率と誤回答の件数を分けて集計します。

「記載がない」と回答した質問は、有人対応や問い合わせフォームへ引き継ぐことで、利用者への影響を抑えられます。一方、誤回答は利用者・担当者ともに気づきにくく、後になってトラブルにつながるおそれがあります。正答率が同水準であれば、誤回答の少ないチャットボットのほうが、問い合わせ対応を任せるうえで信頼性が高いといえます。

誤回答を抑え、正答率を高められるAIチャットボット「Tebot」

本検証において、Tebotは資料にない内容を推測で回答することなく、60問で誤回答0件という結果となりました。さらに管理画面での調整を重ねることで、正答率を100%に近づけ、自社の資料に最適化された専用のチャットボットを構築できます。

本検証では公開されているNISA資料を用いましたが、社内マニュアルや製品資料など、資料の種類によって結果は異なります。自社の資料での回答精度は、実際の資料を用いて検証するのが確実です。

Tebotでは、資料を登録したうえで、プレビュー画面から自社の想定質問をそのまま試せます。プロンプトによる回答ルールの設定、Q&Aの登録、スコアチェッカーなど、本検証で用いた調整機能もすべて利用できます。チャットボットの初期構築は弊社が無償で代行しますので、資料の分割や設定についてもご相談いただけます。

自社の資料での回答精度は、無料トライアルでご確認いただけます。