この記事の要点・目次
  • 良品9900個・不良100個をすべて良品と判定すると、正解率99%でも不良を全数見逃します。
  • 見逃し率は不良全体、過検出率は良品全体が分母です。異常判定後の確認件数も分けて比べます。
  • 研究の評価用画像の割合は工場の不良率ではありません。対象・撮影条件・指標名を確かめます。

外観検査AIの「精度99%」は、数字だけでは不良をどれだけ見つけたか分かりません。まず、何を分母にした割合かを確かめたいところです。全体の判定が正しい割合と、不良を見つけた割合は違います。良品が多いデータなら、不良を一つも見つけなくても、正解率だけは高くなる場合があります。

自社の試験結果を比べるには、見逃した不良、異常と判定された良品、その後に人が確認する件数まで分ける必要があります。1万個を判定する仮定の計算と、基板写真を使う公開研究の評価条件から、数字の読み方を考えます。

正解率99%で、不良100個を見逃すこともある

正解率は、良品・不良品を合わせた全体のうち、正しく判定した割合です。Googleの機械学習教材も、一方の種類が極端に少ないデータでは、正解率だけではモデルを評価しにくいと説明しています。

たとえば、1万個の製品に良品が9900個、不良品が100個あったとします。すべてを「良品」と判定すれば、9900個については答えが合っています。正解率は9900÷1万で99%ですが、不良100個はすべて見逃します。

同じ1万個に対する、別の二つの判定結果も置いてみます。以下は編集部の仮定による計算例で、特定のAI製品や工場の測定結果ではありません。

判定の内訳 全数を良品と判定 仮例B 仮例C
正しく異常とした不良 0個 95個 99個
見逃した不良 100個 5個 1個
異常とした良品 0個 99個 495個
正しく良品とした良品 9900個 9801個 9405個
正解率 99% 98.96% 95.04%

仮例Cは、この三つの中で正解率が最も低い一方、不良の見逃しは最も少なくなっています。代わりに、良品495個も異常としています。正解率の大小だけで、採用する判定方法を選ぶことはできません。

見逃しと過検出は、分母と再確認件数を分けて読む

不良を良品と判定するのが「見逃し」、良品を異常と判定するのが「過検出」です。割合を使うときは、それぞれ何個を分母にした数字かを添えます。

仮例Bでは不良100個のうち見逃しが5個なので、見逃し率は5%です。良品9900個のうち99個を異常とした割合は、99÷9900で1%。こちらは過検出率、機械学習では偽陽性率と呼ばれる指標に当たります。異常を見つける側を「陽性」とした場合の呼び方です。

異常と判定したものをすべて人が確認する運用なら、確認先へ回るのは、不良を正しく検出した95個と、過検出した良品99個を足した194個です。確認対象のうち本当に不良だった割合は95÷194で約49%。この割合を「適合率」と呼び、良品全体を分母にした過検出率とは区別します。

同じ1万個で比べる項目 仮例B 仮例C
見逃し率:見逃した不良÷不良全体 5% 1%
過検出率:異常とした良品÷良品全体 1% 5%
異常判定を人が確認する場合の件数 194個 594個

仮例Cでは見逃しを1個まで減らす代わりに、確認対象は594個になります。この件数差が、そのまま作業時間や人員の差になるわけではありません。1件の確認に要する時間、確認の結果をどこへ記録するか、判定が割れた際の扱いによって、仕事量は変わります。

また、良品判定の製品を抜き取りで再確認する仕事などは、この計算に含めていません。ここでいう見逃しはAIの分類結果であり、そのまま不良品が出荷された件数を示すものでもありません。

AIが出す点数から、どこ以上を異常とするかを決める値が「しきい値」です。Googleの教材では、しきい値を変えると検出と誤判定の件数が変わることも説明しています。ただし、上のBとCは結果を比較するための仮例で、同じモデルのしきい値を実際に変えて得た値ではありません。

学習用と評価用の画像は、どう分ける?

検査AIの評価では、AIに覚えさせる画像と、その性能を確かめる画像の構成も確認します。研究用の公開データセット「VisA」は、基板や食品など12種類、計1万821枚の写真を収録しています。Yang Zou氏らが2022年に発表した研究で公開したもので、論文は、現実的な異常を再現するため、欠陥を人手で作ったと説明しています。

VisAの「1-class」という評価方法では、正常画像の約9割を学習へ、残りの正常画像と異常画像を評価へ回します。1-classは、この場合、正常画像だけで学習する方式を指します。公開された画像の割り当て表を編集部で集計すると、基板の一種「PCB3」は次の構成でした。

PCB3の画像 学習用 評価用
正常ラベル 905枚 101枚
異常ラベル 0枚 100枚

評価用には正常・異常の両方が入っています。次の2枚は、その例です。

緑の背景に青い電子基板を置いた、VisA PCB3の正常ラベルの評価用写真
VisAのPCB3に含まれる正常ラベルの評価用写真(0427.JPG)。分類ラベルはデータセットのものです。写真・画像:VisA Dataset / Yang Zou et al. / Amazon.com, Inc. or its affiliates / CC BY 4.0
緑の背景に青い電子基板を置いた、VisA PCB3の異常ラベルの評価用写真
VisAのPCB3に含まれる異常ラベルの評価用写真(070.JPG)。原論文は、現実的な異常を再現するため欠陥を人手で作ったと説明しています。写真・画像:VisA Dataset / Yang Zou et al. / Amazon.com, Inc. or its affiliates / CC BY 4.0

この201枚の評価画像では異常ラベルが100枚を占めます。冒頭の仮例で置いた不良率1%とは、構成が大きく違います。研究のために用意した画像の割合を、そのまま工場の不良率と読むことはできません。正常・異常のラベルも、データセット内の分類です。

このように学習用・評価用を分けていても、ファイル名が違うことだけでは、同じ対象を似た条件で撮った画像が混ざっていないかまでは判断できません。自社で試す際は、画像の枚数に加え、対象品種、撮影日やロット、撮影条件の分け方も、評価を担当する人と確認したいところです。

公表値は、指標名・対象・撮影条件をセットで読む

検査AIの性能には正解率以外の指標も使われます。たとえば「AU-ROC」は異常を見つける割合と過検出の割合を、しきい値を変えながら比較した曲線の面積です。Googleの説明では無作為に選んだ陽性・陰性の組について、陽性の点数を高く付けられる確率として解釈できます。AU-ROCの99%と、製品の99%を正しく判定したという意味の正解率99%は同じ数字ではありません。

VisAの研究もAU-ROCに加え、適合率と検出する割合の関係を使うAU-PRを報告しています。一つの数字にまとめられていても、何を測る指標か、画像全体を判定したのか、欠陥の位置を画素ごとに調べたのかで意味は変わります。

撮影条件を読む具体例として、オムロンの2019年の技術論文があります。同論文は、学習に使った画像とは撮影環境や対象物が異なる466枚で評価したと説明しています。内訳は良品の画像62枚、不良品の画像404枚でした。評価画像がどのように選ばれたかを併せて読むと、公表値の対象が具体的になります。

これは当時の実験条件での報告です。現在の装置の性能や、自社のラインで必要な確認件数が、そのまま分かる数字ではありません。比較するときには、少なくとも次の項目をそろえます。

  • 指標の正式名称と計算式、良品・不良品それぞれの枚数。
  • 対象品種と欠陥の種類、照明・カメラ・撮影姿勢などの条件。
  • しきい値と、判定が難しい画像や撮影できない製品の扱い。
  • 処理時間に、撮影・搬送・人の確認をどこまで含めるか。

導入後も、条件の変化と確認結果を残す

試験を通った後も、判定に使う情報や条件は変わり得ます。産業技術総合研究所の「機械学習品質マネジメントガイドライン」第4版は、運用状況の記録を続けることや、外部環境・入力するシステムの変化に対応し、モデルの変更で品質を不用意に落とさないことを扱っています。

たとえば品種や照明を変えたときに、以前と同じ条件で評価したと言えるか。再学習したモデルが新しい欠陥だけでなく、以前から検出できていた欠陥も捉えられるか。こうした問いを、試験時の画像や判定結果へ戻って確かめられる記録が役立ちます。

導入の打ち合わせでは、「精度は何%か」に加え、「何個の不良を見逃し、何個の良品を確認へ回したか」「その確認を誰が終えるか」まで聞く。数字と仕事を結び付けることで、試験の合格条件を具体化できます。

タイヤの自動検査を扱った記事では、検査する場所と検出対象の違いを解説しています。Siemensとオムロンの工場AI比較は、検査準備や原因調査へAIを使う際の役割を整理する入口になります。

出典・参考資料

  1. Google:正解率・再現率・適合率・偽陽性率の定義 ↗(新しいタブで開く)確認日:2026.11.06
  2. Google:しきい値と判定結果の関係 ↗(新しいタブで開く)確認日:2026.11.06
  3. Google:ROC曲線とAUCの定義 ↗(新しいタブで開く)確認日:2026.11.06
  4. Yang Zouほか:VisAの原論文(2022年)、4.1・4.2節 ↗(新しいタブで開く)確認日:2026.11.06
  5. VisA:公開されている1-class評価の画像割り当て表(編集部でPCB3を集計) ↗(新しいタブで開く)確認日:2026.11.06
  6. オムロン:AI Visual Inspection System(2019年9月)、6節 ↗(新しいタブで開く)確認日:2026.11.06
  7. 産総研:機械学習品質マネジメントガイドライン第4版・改訂4.2.0(72頁) ↗(新しいタブで開く)確認日:2026.11.06
  8. 写真原典:VisAデータセットと配布案内 ↗(新しいタブで開く)確認日:2026.11.06
  9. 写真の利用条件と権利者:VisA NOTICE/LICENSE-DATASET ↗(新しいタブで開く)確認日:2026.11.06
  10. 写真のライセンス:CC BY 4.0 ↗(新しいタブで開く)確認日:2026.11.06

画像の出典・利用条件

以下は元画像の説明と利用条件です。配信用に縮小・形式変換を行い、一覧では表示枠に合わせて一部を切り取って表示しています。

カバー画像

VisA PCB3の正常ラベルの学習用写真0661.JPGを加工。異常検知の研究用データに含まれる写真です。

    トップ・一覧・関連記事・特集のカバーにも、ここに記載した説明・利用条件が適用されます。

    1. VisA Dataset / Yang Zou et al. / Amazon.com, Inc. or its affiliates:緑の背景に青い電子基板を置いた、VisA PCB3の正常ラベルの評価用写真 ↗(新しいタブで開く)

      CC BY 4.0(ライセンス(新しいタブで開く))。縦横比を保持して縮小、WebP変換。切り抜き・欠陥の加工なし。確認日:2026.11.06

    2. VisA Dataset / Yang Zou et al. / Amazon.com, Inc. or its affiliates:緑の背景に青い電子基板を置いた、VisA PCB3の異常ラベルの評価用写真 ↗(新しいタブで開く)

      CC BY 4.0(ライセンス(新しいタブで開く))。縦横比を保持して縮小、WebP変換。切り抜き・欠陥の加工なし。確認日:2026.11.06

    この記事を共有する