1
はじめに
近年、Deep Learning 技術の急速な発展によって複雑なパターン認識、高度な予測能力、および大規模なデータセットの効果的な処理が可能になり、画像認識、自然言語処理、音声認識などの様々な場面において広く産業分野に活用されている。画像認識の領域では、人間の目と同等、あるいはそれを超えるレベルで画像を判別することが可能になった。それによって、従来は人が目視で行っていた検査に換わる親和性が高い技術としてDeep Learningによる画像検査の導入が進んでいる1)。コニカミノルタでも生産工程の一部に不良品画像と良品画像を教師データとする学習モデル（以下「教師あり学習」）による画像検査が導入されており、人並み以上の検査精度が得られている。しかしながら学習には良品画像だけでなく大量の不良品画像が必要なため、量産開始時から不良品画像が集まるまでの間は適用できないという問題がある。
そこで我々は、2段階の取組みを行うことにした。1段階目として、不良品画像が集まり難い量産開始時期には画像収集が容易な良品画像のみの学習モデル（以下「教師なし学習」）と人との検査で相互扶助できる形とした。具体的には、教師なし学習は不良品を良品と誤判定する割合（以下、「見逃し率」）を限りなく0 %に近づけ人の見逃しを防止する。一方で、良品を不良品と誤判定する割合（以下、「過検出率」）は高くなるため、人による再判定を行って収率を上げる。その目標としては、生産能力を十分に達成できるレベルとした。以上から１段階目では、不良品画像が集まらない量産初期からの適用を可能にするとともに、良品画像に無い特徴を抽出するため効率よく不良品画像の収集が出来るようになった。
次の2段階目として不良品画像を収集させた後、教師あり学習に移行する仕組みとした。これにより判定精度を向上させ人の検査を極小化させる。この2段階の取り組みにより、量産開始時からDeep Learningによる画像検査を導入し、迅速でシームレスに移行することで、安定生産までの過渡期における検査判定の精度を高く維持することを可能とする。我々はこの取り組みとして、実用レベルの精度を備えた教師なし学習のアルゴリズムを開発したため、その内容について2章で紹介する。また、教師あり学習の学習モデルを短期間で精度向上させる作成方法について3章で紹介し、実際の検証結果を4章、まとめと今後の展望について5章で紹介する。
2
教師なし学習のアルゴリズム
教師なし学習には様々な種類があり、代表的なアルゴリズムの例としてオートエンコーダや敵対的生成ネットワーク、フローベース生成モデル、拡散モデルなどが挙げられる。今回、実用レベルの精度を備えた教師なし学習の検査アルゴリズムとして、不良品見逃しによる市場流出を防止しつつ過剰検出を抑えることを目指し、教師なし学習の中でも画像生成モデルを活用して検査のアルゴリズム開発を行った。画像生成モデルとは、入力画像をモデルに通すことで学習済みの特徴量から画像を生成する仕組みである。その取り組みについて紹介する。
まず、画像生成モデルによる検査の仕組みを説明する。検査画像をモデルに入力すると、再現画像を出力する。モデルは良品画像のみ学習しているため、良品画像はきれいに再現できるが不良画像は上手く再現できない。(Fig. 2-1)
Fig. 2-1 The mechanism of image reproduction by image generation models.
この差を利用し、横軸を入力画像と再現画像の差分（判定値）、縦軸を員数としたヒストグラムにする。Fig. 2-2のように不良品中の入力画像と再現画像の差分の最小値を閾値とし、この閾値よりも右側にある良品、すなわち実際は良品であるのに不良品と判定された画像を過剰検出品とする。
Fig. 2-2 The method of judging good and bad products based on the difference in reproduced images.
今回開発した検査アルゴリズムでは、２通りの方法で教師なし学習モデルを作成し、２つのプロセスで検査を行った。まず第１のプロセスでは、良品の入力画像と再現画像の差分が小さい分布にすることを目的とした学習モデルを使用し、判定値内のばらつきを無くすことでヒストグラムにおける分布を判定値が小さい側に密集させることを目指した。その結果、出力されたヒストグラムがFig. 2-3である。
Fig. 2-3 Inspection results with learning model 1.
第２のプロセスでは、不良品の入力画像と再現画像の差分を大きくする学習モデルを使用することでヒストグラムの分布を判定値が大きい側に密集させ、良品分布からより遠ざけることを目指した。その結果、出力されたヒストグラムがFig. 2-4である。
Fig. 2-4 Inspection results with learning model 2.
上記の検査結果をもとに、第１のプロセスにおける良品分布と、第２のプロセスにおける不良品分布を組み合わせる。これにより、検査対象における良品分布と不良品分布をより明確に分離させることが可能となった。良品と不良品の分布が離れることで、過剰検出品数を抑えより精度の高い検査が可能となる。(Fig. 2-5)
Fig. 2-5 Final inspection result.
3
教師あり学習の学習モデル作成方法
2章で紹介した教師なし学習の検査の精度向上によって効率的に不良品画像を収集できるようになった。本章では、その画像を使って教師あり学習の学習モデルを短期間で精度を向上させる作成方法について説明する。
最初に、画像サンプルの良品・不良品レベルを定量的に把握するための学習モデルを作成する。このモデル作成では、画像サンプル群の中から任意に良品画像と不良品画像を同数程度選んで教師あり学習を行う。なお、以下では、この学習モデルを「分類モデル」と呼ぶことにする。
次に、画像サンプル群の良品・不良品分布を可視化する。このステップでは、分類モデルを用いて残りの画像サンプル群を検査し、画像サンプルごとに「良品：1」から「不良品：0」の間のスコアを得る。このスコアは1に近づくほど ”明らかな良品画像”、0に近づくほど “明らかな不良品画像” を示している。ここで、”明らかな” とは、人の目視検査で必ず良品又は不良品と判定されるレベルを差す。本例では、このスコアを0~100 %の範囲で５ ％刻みの階級に分類することで、Fig. 3-1に示すように画像サンプル群の良品・不良品分布を可視化できる。
その後、画像サンプル群の良品・不良品分布を分析し、画像検査モデル作成のための学習データを抽出する。一般に、不均衡データによる教師あり学習は、その精度に問題を生じることが知られている2)。画像検査においても、良品画像が多く、その中でも ”明らかな良品画像” の割合が多いと、Fig. 3-2のように早期に正答率高く学習が完了して習熟せず、十分な検査精度を備えた学習モデルとならない。そこで、本例では、不良品見逃し防止のため良品・不良品の閾値を７０%に設定し、画像サンプル数、良品画像レベルともに高い95 %以上～100 %以下を除き、70 ％以上～95 ％未満の良品画像と、０ ％以上～70 ％未満の不良品画像を学習データとして抽出した。
最後に、抽出した学習データで教師あり学習を行い、最終的な画像検査モデルを作成する。これまでの過程で偏りのない学習データを抽出できているため、Fig. 3-3に示すように学習は緩やかに習熟し、画像サンプルを定量的に分類しないときに比べて短期間で十分な検査精度を備えた画像検査モデルを得ることができる。以上の方法をFig. 3-4のフローチャートに示す。
Fig. 3-4 Flowchart of procedure for creating a highly accurate supervised learning model.
4
検証実施例
2章で紹介した教師なし学習、3章で紹介した教師あり学習の技術を活用し、基板に実装されるリード部品のはんだ付け部を対象とした外観検査の検証実施例を紹介する。基板に挿入する部品のリードの長さや傾き方によってはんだ付けの形状が異なる点やはんだの金属光沢が多種多様に変化し、判定の難易度が高いため検証事例に選定した。その中でよりばらつきが小さい対象Aとばらつきが大きい対象Bについて紹介する。(Fig. 4-1) この生産ラインの生産能力は、過検出率10 ％以下なら達成される。また、不良品の流出防止のため、見逃し率は可能な限り0 %に近づける。
Fig. 4-1 Inspection target.
２章で述べた教師なし学習は撮影画像と再現画像の差分を取り、良品と不良品の分布から閾値で判定することで良品データだけで不良品を選別するが、良品画像では対象A、対象Bともに非常に高い精度で再現画像を生成することができている。一方で、不良品画像は再現画像に不良個所が反映されず撮影画像と差分が大きく表れている。(Fig. 4-2) その結果、ばらつきが小さい対象Aでは過検出率は0.05 %、見逃し率は0 ％となり生産能力を十分に達成できるレベルに達した。また、ばらつきが大きい対象Bにおいても、過検出率は8.72 %、見逃し率は0.022 ％となり、目標達成となった。(Table. 4-1) 尚、見逃した画像は、良品との画像差異が非常に少ないため人の目でも判定困難な微細な不良のみに限定された。(Fig. 4-3)
Fig. 4-2 Example of unsupervised learning judgment.
その後、見逃しがあった対象Bに関しては、十分な不良画像が集まったところで3章に紹介した教師あり学習に移行した。その結果、過検出率が1.2%、見逃し率が0%となり、教師なし学習で判別が困難だった微細な不良 (Fig. 4-3) を高精度で不良品として判定することが可能となった。この結果は、1章で述べた人並み以上の検査精度である。加えて、この教師あり学習で使用した学習モデルは、従来の1/5以下の短期間で作成したものである。また、過検出した良品画像を再度学習モデルに良品としてフィードバックすることで過検出率がさらに低下し、より検出精度が高くなる見込みである。
Fig. 4-3 Example of supervised learning judgment.
Table 4-1. Inspection algorithm and judgment accuracy.
5
まとめ
本稿では、Deep Learningを活用した外観検査の精度向上について紹介した。２章では、独自の教師なし学習の検査精度向上によって過検出率を減らし、効率的に不良品画像を収集できるようになった。３章では、教師あり学習の学習モデル作成に使う画像サンプルを定量的に選択することにより、短期間で精度を向上させることができた。４章では、検証結果により、その効果が確認された。よって1章で述べた量産開始から不良品画像が集まるまで教師あり学習が適用できないという問題に対して、量産開始時から教師なし学習による画像検査を導入し、集まった不良品画像を使って迅速でシームレスに教師あり学習に移行することで、安定生産までの過渡期における検査判定の精度を高く維持することが可能となった。今後は、国内外の生産拠点にこの技術を導入し、量産立上げから安定生産までの品質を作り込む過程や生産場所によるばらつきを抑制する。また、本技術の汎用性拡大と教育を行い、現場発信で利用拡大に取り組む。