テスト運用の進め方|本番データで誤検知10件を直した4段階

テスト運用の進め方|本番データで誤検知10件を直した4段階

テスト運用を始めたいけれど、今の業務を止めてしまわないか心配ではありませんか。テスト運用は、架空のデータで先に動かし、本番につなぐ段階では読むだけに絞ると、業務を止めずに不具合を見つけられます。

本記事では、私が顧客の業務を自動化する仕組みで実際に行ったテスト運用を、4段階の進め方として紹介します。本番のデータで初めて分かった誤検知の直し方まで整理しましたので、ぜひ参考にしてみてください。

自動化の仕組みを本番で試したいけれど、今の業務を止めないか不安ではありませんか。無料の個別相談では、読むだけで試せる範囲と確かめる順番を一緒に整理します。

自動化を相談する ›

この記事でわかること

  • テスト運用の意味と、本番の前に挟む理由
  • 今の業務を止めずに進める4段階
  • 本番のデータで見つかった2つの失敗と直し方
  • テスト運用から本番へ進める3つの判断基準

テスト運用とは?本番の前に試す目的と範囲

仕組みを作る、手元の試験、テスト運用、本番運用の4つを左から右へ矢印でつなぎ、テスト運用で見つかった不具合を作る工程へ戻して直す流れを曲がった矢印で示した位置づけの図

  • テスト運用の定義を確認します
  • 手元の試験だけでは足りない理由を説明します
  • 公的な手引きが示す注意点を紹介します

テスト運用は本番と同じ条件で試しに動かす期間

テスト運用とは、新しい仕組みを本格的に使い始める前に、本番と同じ条件で試しに動かして不具合を洗い出す期間です。試験運用や試行運用と呼ばれる場合があり、指す中身はほぼ同じと考えて差し支えありません。

対象は、基幹システムのような大きな仕組みに限りません。表計算の自動化や、AIに書類を仕分けさせる小さな仕組みであっても、テスト運用を挟む価値は十分にあるでしょう。

作り手の手元の試験では本番の癖が見えない

テスト運用が必要な理由は、作り手が用意した見本と、本番のデータの癖が違うからです。私が担当した予定表の自動化では、手元の試験を重ねた後に、本番のデータで初めて誤検知が見つかりました。

本番のデータには、作り手が想像していない書き方や並び方が混ざります。癖を知らないまま使い始めると、正しい予定に誤った印を付けるような事故を招きかねません。

公的な手引きは本番で試す際の影響に注意を促している

本番の環境で試す場面では、動いている業務へ影響を与えない配慮が欠かせません。デジタル庁の「APIテクニカルガイドブック」は、行政の手続を扱う仕組みについて、実サービスへ影響を与えないようにテストする点を求め、検証環境やテスト用データの検討が必要だと述べています。

同じくデジタル庁の「政府情報システムにおける脆弱性診断導入ガイドライン」は、安全性の診断を本番環境で行う場合に、事前のデータバックアップや、休日・夜間の実施を検討するよう示した資料です。対象は行政の情報システムですが、民間の小さな自動化に通じる考え方だと私は受け止めています。

テスト運用の進め方|業務を止めない4段階

テスト運用の4段階である架空のデータで動かす、本番につないで読むだけで試す、相手の環境に残る記録を伝える、実データを記号に置き換えて確かめるを、階段を上る矢印でつないだ工程図

  • 架空のデータで先に動かす段階を紹介します
  • 本番につなぐ試験を読むだけに絞る設定を説明します
  • 残る記録の共有と、実データの置き換えを示します

段階1|架空のデータで先に動かす

最初の段階は、本番につなぐ前に架空のデータで動かす作業です。私は書類の種類をAIに判定させる仕組みで、顧客の接続用の鍵を待たず、自社の鍵と架空の書類9件で先に試しました。

架空のデータなら、失敗しても顧客の業務に影響が出ません。生成AIの利用料は自社の契約で支払う形にしたため、顧客へ請求が届く心配を消せた点が利点です。

段階2|本番につなぐ試験は読むだけに絞る

本番のアカウントにつなぐ段階では、試験の動きを「読むだけ」に絞る設計が要です。私は書き込みが起きる箇所をすべて点検し、予定表とメールは読むだけ、印刷の順番待ちには置かない、自動実行は予約しない、という設定を一覧にしました。

一覧にしておくと、進めてよいかを作業の前に判断できます。「業務を止める問題は起きないか」という不安へ、設定の一覧で答えられる状態が理想でしょう。

段階3|相手の環境に残る記録を先に洗い出す

読むだけの試験であっても、相手の環境に残る記録は出ます。私の例では、専用の管理用シートへの記録、数秒で消す一時ファイル、通知メール1通の3つが残る見込みでした。

残る記録を試験の前に洗い出しておくと、後から「見覚えのないメールが届いた」と驚かせずに済みます。小さな痕跡ほど、先に言葉にして共有する姿勢が信頼を守るのではないでしょうか。

段階4|実データは記号に置き換えて確かめる

顧客の実データは、AIへ渡さず記号に置き換えて確かめる方法が安全です。私は動作の記録に出る名前や管理番号を記号へ置き換える設定を最初から入れ、同じ名前がいつも同じ記号に変わる作りにしました。

名前を伏せた状態で照合や二重登録を確かめられた点が、置き換えの利点です。個人情報保護委員会の「生成AIサービスの利用に関する注意喚起等」は、事業者が本人の同意なく個人データを含む指示文を入力する場合について、サービスの提供事業者が当該データを機械学習に利用しない点などを十分に確認するよう求めています。

テスト運用で見つかった2つの失敗と直し方

テスト運用で分かった数値として、二重登録の疑い14件のうち誤検知10件と確認事項4件の内訳の棒と、AIの判定時間が1件あたり150秒と330秒から平均2秒へ縮んだ棒を左右に並べたグラフ

  • 二重登録の誤検知が起きた原因と直し方を紹介します
  • 判断できない件の扱いを説明します
  • AIの判定が遅かった原因と直し方を示します

二重登録の疑い14件のうち10件が誤検知だった

予定表の二重登録を見つける機能を本番のデータで初めて動かすと、疑い14件のうち10件が誤検知でした。原因は、同じ案件が作業の種類ごとに別の欄へ載っていただけで、二重登録ではなかった点にあります。

私は比べる範囲を同じ系統の中だけに絞るよう直しました。直さずに本番で動かしていたら、普通の予定に二重登録の色を付けていたはずです。

残った4件は決めつけず確認事項に回した

誤検知を除いた残りの4件は、日付だけが違う予定でした。古い予定が消し忘れで残ったのか、別の案件なのかは、記録だけでは判断できません。

私は4件を自動で処理させず、顧客への確認事項に回しています。分からない点を仕組みに決めつけさせない線引きが、テスト運用で得られる大きな収穫でしょう。

AIの判定が1件に数分かかり途中で打ち切られた

書類の種類をAIに判定させる試験では、最初に9件すべてが失敗しました。原因は答えの選択肢に空の値を入れていた設定で、空の値を「なし」という選択肢へ替えると判定は通った形です。

次に、判定は正しい一方で1件に2分半と5分半かかり、1回の実行で使える5分を使い切って2件で打ち切られました。速さを比べる試験で、指定したAIモデル(AIの種類)が混み合って断られていたと分かり、軽いモデルを標準に替えて1件あたり平均2秒へ縮められた流れです。

テスト運用から本番へ進める3つの判断基準

テスト運用から本番へ進めるかを、自動の試験がすべて通ったか、不具合の原因を説明できるか、確認事項と残る記録が相手に伝わったかの3つの分岐で判定し、いいえの場合は直して試し直す流れを示したフローチャート

  • 自動の試験の通過を確かめます
  • 不具合の原因を説明できるかを確かめます
  • 確認事項と残る記録の共有を確かめます

自動の試験がすべて通っている

1つ目の基準は、自動の試験がすべて通っている状態です。私の例では、誤検知の直しに合わせて試験を2件足し、82件すべての通過を確かめました。

直すたびに同じ試験を流し直すと、別の箇所を壊していないかを機械的に確かめられます。試験の件数より、直した内容に対応する試験が足されているかを見てください。

見つかった不具合の原因を説明できる

2つ目の基準は、見つかった不具合の原因を言葉で説明できる状態です。原因が分からないまま数字だけ合わせると、本番で同じ不具合が形を変えて現れます。

遅さの原因を「AIが考える時間」と見立てた私の最初の推測は、速さ比べの試験で外れました。推測で直さず、確かめる試験を足す手間を惜しまない姿勢が近道です。

確認事項と残る記録が相手に伝わっている

3つ目の基準は、判断を保留した点と環境に残る記録が相手に伝わっている状態です。保留した4件のような確認事項は、答えをもらうまで自動の処理から外しておきましょう。

本番へ進む日は、相手の業務が落ち着いている時間帯を選ぶと安心できます。不具合が出た際の連絡先と止め方を先に決めておく準備が欠かせません。

よくある質問

AIへの依頼が混み合って断られた場合に、3秒待って送り直し、再び断られたら予備のモデルへ切り替える流れを矢印と分岐で示し、結果として架空の書類9件を平均2秒で判定できた点を添えた図

テスト運用と本番運用の違いは?

テスト運用は不具合を洗い出す目的で試しに動かす期間、本番運用は実際の業務で使う期間です。テスト運用では書き込みや送信を絞り、影響を小さくします。

自動化の仕組みは、なぜ本番のデータで試す必要がある?

手元の見本には、本番のデータの癖が入っていないからです。私の例では、本番のデータで初めて誤検知10件が見つかりました。

業務の自動化を本番で試すとき、今の業務を止めないためには?

試験の動きを読むだけに絞り、書き込み・印刷・自動実行を止めた設定で始める形が安全です。相手の環境に残る記録は先に洗い出しましょう。

重複チェックで誤検知が多いときの直し方は?

比べる範囲を絞る直し方が有効です。私は同じ系統の中だけで比べる形へ直し、判断できない件は人の確認に回しました。

生成AIの応答が遅いときは何を確かめる?

設定したAIモデルが混み合って断られていないかを、速さを比べる試験で確かめる方法が早道です。私は軽いモデルを標準にし、断られたら3秒待って送り直し、再び断られたら予備のモデルへ切り替える形にしました。

顧客の個人情報をAIに渡さずに開発するには?

記録に出る名前や番号を記号へ置き換える設定を最初から入れます。同じ名前が同じ記号に変わる作りなら、伏せた状態での照合が可能です。

まとめ|テスト運用は読むだけから始めて本番の癖を知る

テスト運用を、架空のデータで試す、読むだけで本番につなぐ、不具合を見つける、原因を確かめて直す、試験を流し直すの5工程で円につなぎ、すべて通ったら本番運用へ出る矢印を添えた循環図

テスト運用は、架空のデータ、読むだけの試験、残る記録の洗い出し、実データの置き換えという4段階で進めると、業務を止めずに不具合を見つけられます。私の例では、本番のデータで試した結果、誤検知10件と判定の遅さを使い始める前に直せた点が成果です。

自動化の仕組みは、作って終わりにせず、本番の癖を知ってから渡す流れが安心でしょう。まずは今の仕組みで書き込みが起きる箇所を書き出し、読むだけで試せる範囲を確かめてみてください。

出典・参考資料

自社で進めるなら、書き込みが起きる箇所を書き出す作業が最初の一歩です。個別相談では、本番のデータで試してから渡す自動化の作り方まで一緒に考えます。

自動化を相談する ›

堺 彬の顔写真

執筆:堺 彬/株式会社SakAI Nexus

代表取締役 / AI活用コンサルタント

株式会社SakAI Nexus 代表。生成AIを使った業務設計と受託開発を支援し、経営者向けのAI勉強会・育成講座を運営しています。

Share B!
前の記事
次の記事

同じ業種の課題、まず30分で棚卸ししませんか。

初回相談は無料・オンライン。伴走コンサル/受託開発/研修のどれが合うかから一緒に決めます。