事例のノウハウ|ナレッジデータベース化
社内規程や経営計画書に答える社内 AI アシスタントを本番公開するまでに起きた不具合を、「何が問題だったのか」「どのように回避したのか」でまとめました。事例の紹介はこちら
社内規程や経営計画書をナレッジとして登録し、社員の質問に答える社内 AI アシスタント(Dify のセルフホスト、OpenAI の gpt-4o-mini・text-embedding-3-small、ベクトル DB は Weaviate)を、本番公開まで進めたときに起きた不具合と、その回避のしかたをまとめたものです。
RAG(資料を検索して、その内容をもとに AI が答える仕組み)は、試しに動かすところまでは簡単です。難しいのは「正しい資料を取ってくる」「取ってきた資料どおりに答える」「それを確かめる」ことで、ここで起きたことの多くは、AI ではなく資料の作り方と確かめ方の問題でした。
何が問題だったのか 回答がおかしいときに、すぐ指示文(プロンプト)や資料を直すと、原因と関係のないところを直してしまい、別の質問が壊れました。また、試し直しで「直った」と判断したものが、実は利用者と違う操作で試していただけ、ということがありました。
どのように回避したのか 直す前に、処理の記録を次の順で見て、どこで崩れたかを確定するようにしました。
| 順 | 見るもの | 崩れていた例 |
|---|---|---|
| 1 | AI が作った検索語 | 前の話題がつながっていた、中身のない語になっていた |
| 2 | 検索で取れた資料の断片(上位 5 件と点数) | 見出しだけの断片が上位を占め、根拠の条が入っていない |
| 3 | 回答する AI への入力 | 根拠は入っているのに、付けた資料名のせいで回答を拒む |
| 4 | 最終の回答と、その後の処理 | 候補の一覧を本文に書き、画面で文が切れる |
何が問題だったのか 資料にある内容なのに「確認できません」と答えたり、概要だけの薄い回答になったりしました。原因は、Word の段落・表のセル・目次・章の題が、それぞれ 1 つの断片として登録されていたことです。「賞与」「第 2 章 基本給」のような数文字の断片は、短い質問の言葉とよく似ているため点数が高くなり、検索の上位 5 件を占めて、本文のある条を枠から押し出していました。
どのように回避したのか 文は変えずに、見出しなどの切れ端を、それが属する条の断片にまとめ、切れ端の側は無効にしてから、ベクトル(検索用の数値)を作り直しました。「この資料は…」のような案内だけの断片も無効にしました。まとめる前の断片は保存しておき、戻せるようにしました。取れた断片の本文の長さを見て、数文字〜十数文字のものが上位にあれば、この問題だと判断できます。
何が問題だったのか 一覧の一部しか答えない、ランクや金額が出ない、ということが起きました。Excel をそのまま登録すると、横に表が並ぶシートは一部の列しか入らない、「項目:値」の形に変わり同じ文が毎回付く、中身が 0 件になる、といったことが起きていました。153 件ある一覧のうち 49 件しか入っていなかった例もあります。
どのように回避したのか 文章の資料は、Markdown(見出しと本文を持つテキスト)に起こしてから登録するようにしました。一覧や数値(資格の一覧、手当の表など)は、文章の検索には入れず、データベースに入れて、そこから答える仕組みにしました。
何が問題だったのか 本文は正しいのに、回答の最後に付ける出典(規程名・条番号)が違う、または出典がない、ということが延べ 200 件以上ありました。複数の規程を 1 つのファイルにまとめて登録していたため、断片に規程名がなく、AI が文脈から規程名を推測して、別の規程名や存在しない規程名を書いていました。
どのように回避したのか すべての断片の先頭に【規程名】【資料名】を付けました。影響のあった試験 36 件で、出典が正しい件数は 40 から 122 に増えました(それでも残る誤りはあります)。
何が問題だったのか 根拠の断片が検索の 1 位で取れているのに、「確認できません」と答えました。断片の先頭に付けた資料名と、断片の中身の話題が合っていなかったためです。資料名だけを外すと、3 回とも正しく答えました。
どのように回避したのか 資料名は中身に合うものを付けるようにしました。確かめるときは、回答する AI への入力をそのまま取り出し、資料名の有無だけを変えて送り比べます。
何が問題だったのか 「基本方針 Ver.10.docx」と「基本方針 Ver.10 (1).docx」のように、同じ資料が二重に登録されていて、同じ文の断片が検索の上位の枠を取り合っていました。
どのように回避したのか 片方を無効にし、そのあとにベクトルの照合(2.1)をしました。受け取った資料は、登録する前に台帳を作って重複を確かめるようにしました。
何が問題だったのか 検索で返る件数が減ったり、結果がばらついたりしました。資料を無効にしたり更新したりすると、Dify の記録では「削除した」となっているのに、ベクトル DB には古いベクトルが残っていて(ある操作のあとに 59 件)、それが検索の上位の枠を取っていました。2 つのデータセットが 1 つのベクトル DB のクラスを共有している構成で起きました。
どのように回避したのか 資料を操作したら、必ず Dify の DB とベクトル DB を照合し、DB にないベクトルを消すようにしました。本番へ反映する前にも同じ照合をします。
何が問題だったのか 断片の本文を直したのに、検索結果が変わりませんでした。Dify の断片の更新では、ベクトル DB の古いデータを別の ID で消そうとして何も消えず、さらに重複の確認で新しいベクトルの追加が飛ばされていました。直したはずの 3 件が、見出しだけの古いベクトルのままでした。ID があるかどうかの照合では見つかりません。
どのように回避したのか 古いベクトルを正しい ID で消してから、断片を送り直してベクトルを作り直しました。最後に、DB とベクトル DB の本文を全件照合して、食い違いが 0 件であることを確かめます。
何が問題だったのか ベクトルを正しく作り直したら、前は合格していた質問が不合格になりました。前の合格は、見出しだけの古いベクトルが質問の言葉にたまたま強く当たっていたためでした。
どのように回避したのか 過去の合格は、そのときの索引の状態に依存しているかもしれない、と考えるようにしました。索引を作り直したら、影響しそうな質問を試験し直します。
何が問題だったのか 同じ処理の流れなのに、本番だけ不合格が多くなりました(ある試験で、ローカル 123/133 件に対し本番 96/133 件)。Dify は複数のデータセットを検索するとき、最初の段階で、処理の流れの設定ではなくデータセット自身の検索設定(何件取るか、など)を使います。本番のデータセットだけ、取る件数が 2 件になっていました。
どのように回避したのか 処理の流れの設定を比べるだけでは、一致している根拠になりません。データセットの設定・分け方・断片・ハッシュ値まで照合するようにし、最終的には本番をローカルの丸ごとのコピーにしました(5.1)。
何が問題だったのか ある言葉を含む質問が、決まって別の資料で答えるようになりました。1 つの質問を合格させるために「この言葉を含む質問には、この検索語を使う」という固定の処理を足していたためです。たとえば「賞与」を含む質問すべてに別の資料の検索語が付き、給与規程の賞与の条が取れなくなっていました。同じことが「事故」「資格」でも起きました。
どのように回避したのか 固定の処理は足さないことにしました。不具合を見つけたら、固定の処理を外したときの検索結果を確かめ、外して直るなら外します(「賞与」の例では、外すと正しい条が 1・2 位になりました)。根本は、資料の断片の作り方(1 章)で直します。
何が問題だったのか 試験の質問文をそのままキーにして、決まった答えを返す処理が入っていました。この場合、試験に合格しても、それは検索と回答の結果ではありません。利用者が少しでも違う言い方をすると働かず、来期の資料にも対応できません。
どのように回避したのか この処理による合格は、本当の合格として数えないことにしました。外し方は、まだ判断の途中です。
何が問題だったのか 同じ質問でも、新しい会話の 1 問目なら正しく、会話の途中だと誤りました。「何問目か」で処理を分けていて、2 問目以降は前の話題の続きとして検索語を作っていたためです。たとえば「有給休暇の取り方」の次に「法令違反の条文はありますか」と聞くと、2 つの質問がつながった検索語になり、正しい条が取れませんでした。10 問以上続けたあとには、検索語が「情報を探している」になり、存在しない条番号で答えたこともありました。
どのように回避したのか 「何問目か」ではなく、「前の話題の続きか、新しい質問か」で判断する作りに変えることにしました(作り直しは今後の対応です)。試験では、1 問目と会話の途中の両方で確かめます。
何が問題だったのか 検索で根拠の条が取れているのに、質問を読み取る AI が「聞き返す」「答えられない」と判断し、答えずに終わりました。
どのように回避したのか 検索結果に直接の根拠があれば、検索結果で答える側に進む、という決まりを入れました。AI の判断だけに頼らず、根拠の有無をプログラムで見て、進む先を守るようにしました。
何が問題だったのか 試験の結果を合わせるために、質問を「就業規則」か「経営計画」かに分けて片方だけを検索する版が作られ、本番に出ていました。両方に根拠がある質問では、片方が欠けました。
どのように回避したのか 両方を検索する作りに戻しました。試験の言葉の不備は、検索の作りを変えて合わせるのではなく、試験の言葉のほうを直します。
何が問題だったのか
どのように回避したのか 候補が 1 つなら選択肢を付けない、詳しい見出しが 2 つ以上あるときだけ全体像で答えて候補を出す、に変えました。候補は、原本の条見出しの一覧の中から、入力した言葉を含むものを出す作りです。似た名前の別の条で答える問題は、まだ残っています。
何が問題だったのか 根拠の条を取れているのに、質問の言葉(「法令違反」など)と条文の言葉の対応を AI が判断できず、答えませんでした。検索語を足して点数を上げても、10 回中 0 回しか答えませんでした。
どのように回避したのか 指示文や検索語の調整で安定しないものは、AI が答えたあとの処理で、取れた断片から条の見出しと本文を取り出して回答を組み立てるようにしました(10 回中 10 回答えるようになりました)。回答の文を固定で持つことはしません。ただ、この種の個別の処理を増やしすぎないよう、使うかどうかはそのつど判断します。
何が問題だったのか 「目標の数値は目標と明記する」という 1 行を指示文に足したところ、ある質問の誤りは防げましたが、別の質問で出典が消えました(その 1 行があると 3 回とも出典なし、ないと 3 回とも正しい)。
どのように回避したのか どちらを取るかを決めて(このときは「回答の内容が正しいほうを取り、出典の誤りは課題として残す」)、記録しました。指示文を変えたら、影響しそうな質問を同じ入力で送り直して比べるようにしました。
何が問題だったのか 画面で「詳細については、」のように文が途中で切れ、出典もない回答が出ました。根拠を取れないときに、AI が「以下からお選びください 1. … 2. …」と本文に書き、画面がその部分を候補ボタンに変えるところで、文が切れていました。
どのように回避したのか 原因は AI ではなく検索(1.1)でした。AI の指示を直すのではなく、根拠を取れるように資料の断片を直しました。
何が問題だったのか 出典の末尾に【参照】が重なる、本文の根拠と別の条を出典に書く、同じ質問で答えたり答えなかったりする、ということが残っていました。
どのように回避したのか 本番公開の時点では回避できておらず、課題として記録して改善を続けています。
何が問題だったのか 本番は資料を登録し直して作ったため、資料の分け方・検索の設定・索引がローカルとずれていました。処理の流れも、本番は片方だけを検索する版(20 の処理)、ローカルは両方を検索する版(27 の処理)でした。ローカルで合格しても、本番では別物でした。
どのように回避したのか 本番を、ローカルの丸ごとのコピー(DB・保存領域・ベクトル)にしました。それ以降は、ローカルで合格した同じ差分だけを本番に入れ、処理の流れのハッシュ値と照合で、一致していることを確かめます。
何が問題だったのか 業務データの API やチャット画面のコンテナを作り直すと、Dify と同じ Docker のネットワークから外れ、つながらなくなりました(業務データの参照が時間切れになる、チャット画面から Dify に届かない)。
どのように回避したのか コンテナを作り直すたびに、ネットワークにつなぎ直す手順を決めて、手順書に入れました。
何が問題だったのか
サーバーにまとめて貼り付けて流すスクリプトの中で docker exec -i を使うと、残りのスクリプトを入力として読み込んでしまい、そこから先が実行されませんでした。
どのように回避したのか
-i を外し、< /dev/null を付けるようにしました。サーバーの操作は担当者が行うため、スクリプトは「1 回貼り付ければ最後まで流れ、結果をそのまま貼り返せる」形で用意します。
何が問題だったのか 自動の試験は「期待する言葉が回答に入っているか」だけで判定していました。そのため、出典の規程名が誤っていても、3 項目のうち 1 つしか答えていなくても、合格になっていました。良くなったのか悪くなったのかを、正しく測れていませんでした。
どのように回避したのか 回答の内容と出典の条を、原本と 1 問ずつ照合して判定する決まりにしました。スクリプトの結果はそのまま信じず、照合で確かめます。
何が問題だったのか 試験の表示名と回答の言葉が少し違うだけで、正しい回答を不合格にしていました。また、「目的」のように何についての質問か分からない言葉を、試験の質問にしていました。
どのように回避したのか 判定は原本との照合で行い、何についての質問か分からない言葉は、対象を含む質問に直しました。
何が問題だったのか 試験の質問が原本の見出しどおり「育児休業等」のように「等」まで付いていましたが、利用者はそうは入力しません。一方で、期待する言葉まで書き換えた版では、原本の見出しと照らし合わせられなくなり、正しい回答を不合格にしました。
どのように回避したのか 質問の文は利用者の言い方(「等」を外す)にし、照らし合わせに使う期待の言葉は原本の見出しのまま残す、と分けました。
何が問題だったのか
どのように回避したのか 試験は利用者と同じ操作で行う、回答は全文を保存する、と決めました。資料の断片や索引が違えば別の試験対象として扱い、ローカルの合格を本番の合格とは数えません。
何が問題だったのか 全件の回帰試験(数百件)を途中で何度も流すと、AI の API の 1 日の上限にかかります。また、公開後は平日の日中に社員が本番を使っています。
どのように回避したのか 全件の回帰試験は、修正がそろってから本番で 1 回流すことにしました。本番での大量の試験は、週末に行います。
直しても不具合が増えていた時期があり、原因は次の 4 つでした。
そのため、次のことを守っています。