自動車塗装欠陥検査は自動車の品質を保証するためにおこなう検査工程の一つであり、自動車ボディの塗装面に対して欠陥の検出・分類を行うものである。自動車塗装欠陥はボディに対して小さい上に塗装面の艶やボディ形状の複雑さ等の要因で条件によって見え方が大きく異なるため検出が難しく検査員による目視検査が多く行われてきた。しかし自動車一台分の検査は時間を要し、さらに検査の際には強い照明が必要であるために検査員には大きな負担となっていた。そこで近年は自動化に向けた取り組みが進められている。たとえば澤本らはカメラと光源をロボットアームで動かしながら撮影することで塗装欠陥の検出を試行している¹⁾。ロボットアームを使った検査は欠陥の観察に適した位置にカメラや照明を移動できることから精度良く欠陥の検出が出来ることが期待されるが、高度な機械制御が必要なことからコストがかかる他、自動車のボディ全体を見る場合撮影時間が多くかかるという課題がある。

現在のコニカミノルタのグループ企業であるスペインEines社は、この課題を解決するトンネル型検査装置Esφiを開発した（Fig. 1）。

　トンネル型検査装置はトンネル内に複数のカメラと照明がアーチ状に配置されており、搬送される自動車を連続的に撮影する。このような構成にすることで自動車を制止させることなくその外観全体の検査を行うことが可能となり、検査工程の効率化が期待出来る。

　さらに検査装置としての価値を高めるために我々は欠陥の分類に着目した。欠陥が見つかった場合作業員によって欠陥の修正が行われるが、欠陥の種類により修正作業は異なる。たとえば欠陥が凸形状であればオンラインで研磨して平らにするが、凹形状であればオフラインで少し時間を要する作業が必要となる。そのため、従来は欠陥検出の際に検査員が目視で欠陥を分類する工程が必要であった。しかし、検査装置に欠陥分類機能の追加することが出来れば、自動車全体の検査後は速やかに修正工程に移行することが可能となり、検査負担の大幅な削減が期待出来る。さらに欠陥分類機能を有することでいつどのような欠陥が発生したかを可視化することが可能となるため、たとえば通常は稀な欠陥が増加する様な事象から塗装工程の異常を早期に発見、頻出の欠陥の原因を辿ることで問題の多いプロセスを洗い出し改善につなげるなど、欠陥分類機能の追加は単なる目視検査置き換え以上の効果が期待できる。

　しかし、欠陥分類を行うには欠陥毎の細かい特徴を捉える必要があり、トンネル型ではライン中の動きのある画像データを処理する必要性から技術的な難易度が高い。

　そこで我々は、近年目覚ましい成果を挙げている深層学習技術を用いて、従来のトンネル型検査装置による欠陥検出に追加可能な欠陥分類処理を新たに開発した。本稿では欠陥分類の対象について述べた後、深層学習の概要と欠陥分類に深層学習を適用するにあたっての課題について述べる。その後、課題にどの様に対処したのかを性能評価と併せて紹介する。

　自動車の塗装欠陥には様々な種類があるが、その中でも多く発生し、かつ検出が難しいのがFig. 2で示すような、塗装の過程でクリア層よりも下の層に異物やヘコミの様な異常を包含している種類の欠陥である。

　この欠陥は、塗装自体はされているために上面から見ると目立たないが、斜めから見るとその形状から反射光に乱れが生じるため外観上の不良となる。こうした塗装欠陥を見落としなく検出することが検査装置においては重要である。

　我々が今回欠陥分類の対象とするのは、トンネル型検査装置の欠陥検出処理により欠陥と判断された欠陥画像である。トンネル型検査装置では自動車がトンネル内を通過する際に連続的に撮影を行うため、1つの欠陥に対して時系列画像が取得できる。欠陥検出処理では、欠陥に照明をあてて反射パターンを観察することで欠陥を検出する。たとえば欠陥、カメラ、照明がFig. 3に示す様にカメラから見て欠陥が面光源の明暗境界付近にあるように見える位置関係にある場合、カメラに映った欠陥はFig. 4の様の2つの丸で示したような左半分が暗く右半分が明るい形状として観測できる。

　後述するが、この様な照明条件による欠陥の見えの違いが欠陥分類においては非常に重要な情報になる。我々のトンネル型欠陥検査装置では照明照射範囲内でFig. 4の様な欠陥固有の画像パターンが観測された場合、その周辺領域の白枠で囲った領域を注目領域として抽出する。その後注目領域が照明範囲を通過する際の動きを追尾して時系列画像を取得し複数Frameで同様のパターンが検出された場合に欠陥と見なすことで欠陥検出を実現している²⁾。

　そのため、欠陥検出によって得られる欠陥画像はFig. 5の様な欠陥が照明部分を通過する際の時系列画像である。本稿ではこの時系列画像を欠陥分類の対象として扱う。

　深層学習は多層Neural Networkを用いた機械学習手法である。対象の特徴を人が設計して定式化する従来のルールベース手法や機械学習手法と異なり、対象を分類するための特徴自体を学習により獲得することが深層学習の最大の特徴である。多層Neural Networkの基本的なアイデア自体は1980年に福島らによって提案されており³⁾、古くからある概念であるが、近年の計算機性能の向上やデータの増加、様々な技術的なブレイクスルーにより効率的な学習が可能となり飛躍的な成長を遂げた。2012年には物体認識の性能を競うコンテストILSVRCにおいて、Hintonらが深層学習ベースのAlexNet⁴⁾を用いて非深層学習ベースの手法を認識率で10 ％近い差で圧倒して研究者に衝撃を与えた。更に2016年にはHeらによって人を上回る認識率が記録される⁵⁾などその性能向上は著しく、現在では様々な領域で実用的に使われ始めている。たとえば弊社においても、コロナ禍におけるマスク着用判定⁶⁾や人流解析⁷⁾といった用途で既に実社会適用されている。

　深層学習は非常に強力な手法だが、多くの課題が存在する。その一つが不要なデータへの対応である。

　深層学習は入力したデータから分類に必要な特徴量を自動で生成出来る。しかし、今回の様な時系列画像を対象とする場合、カメラや照明との位置関係により欠陥の特徴が得られるFrameは限定されている。そのため単純に時系列画像をそのまま入力とした場合，大半のFrameが情報を含まないノイズとなり欠陥を分類するための特徴が上手く生成できず十分な性能が得られないことが予想される。以降ではこの課題に対して我々が行ったアプローチを紹介する。

　我々が開発した注目Frameの自動抽出処理について紹介する。我々は同じ欠陥を撮影する際の照明条件の変化に着目した。我々が用いる欠陥画像は同一の欠陥が照明範囲を通過する際の時系列画像であり、同じ欠陥に対する複数の照明条件の画像を取得したものに等しい。その中には欠陥分類を行うのに適した照明条件や逆に欠陥分類を行うのに不適な照明条件も存在する。たとえば図Fig. 6の様に欠陥に対して照明が一様にあたっていて照明範囲の中心付近に欠陥が写っている条件の場合、欠陥の形状による陰影が十分に見えず欠陥分類には不適であるといえる。一方Fig. 7の様に欠陥に対して照明の当たり方に差がある照明範囲の境界付近に欠陥が写っている条件の場合、欠陥の形状による陰影が非常に見えやすく欠陥分類に非常に有用であると考えられる。

　さらに照明範囲の境界付近ではカメラ・照明・欠陥の間の位置関係が大きく変動するため、同一欠陥に対する複数の照明条件の画像を取得することが可能となる。照明条件による見えの違いには被写体の3次元的な情報を暗に含んでおり照度差ステレオ法⁸⁾の様な3次元再構成手法にも用いられる。このことから多様な照明条件の画像を用いることは欠陥を分類する上で有用である。

　そこで我々は欠陥の時系列画像の中で最も欠陥が見えやすくかつ照明条件の変化が大きい、欠陥が照明領域に入るときと出るときのFrameを注目Frameとし、さらに注目Frameを起点として近傍Frameから複数の部分時系列画像を解析対象として抽出する手法を開発した。具体的な処理の流れを以下に示す。

手順1：動画像全体の輝度ヒストグラムを作成し、上下10 ％の輝度をノイズとして除外し、残った値を基準に輝度を0-100の範囲に正規化

手順2：動画像の各Frameに対して、中心50 ％の領域内の輝度について上位20 ％の輝度値が70以上のFrameを抽出

手順3：連続したFrameを光帯が通過しているFrameと判断し、その始点/終点の周辺5 Frameずつ、計10 Frameを注目Frameとみなす

手順4：注目Frameを基準に前後1 Frameずつ、計3 Frameの動画像を切り出す

手順5：すべての注目Frameに対して手順4を行い、合計10 個の3 Frame動画像を取得する

　非常に単純な処理ではあるが、これにより高い精度で照明条件変化の大きいFrameのみを解析対象として抽出することが可能となった。

　欠陥分類処理の大まかな流れを示す（Fig. 8）。なお、本アルゴリズムで用いているNeural Networkはごく一般的なCNNベースのモデルを用いている。

手順1：輝度正規化を行い明暗条件差抑制

手順2：欠陥候補動画像から、明暗境界を注目Frameとして抽出

手順3：注目Frameを基準に3 Frameの部分動画像を10 枚取得

手順4：部分動画像を誤検出除去/欠陥分類のNeural Networkに入力し、欠陥分類を行う

手順5：同じ欠陥候補動画像から切り出した部分動画像10 枚分の欠陥分類の結果を集計し、最も得票数が多い欠陥種を欠陥分類の結果として出力

　今回は実際の工場で撮影された金属表面欠陥データで評価をおこなった。対象画像は欠陥の時系列画像であり、欠陥の種類は凹凸等の欠陥の形状や油分/異物の付着等の発生原因に基づいた8 種類で構成されている。詳細はここでは割愛する。

　学習には計10,000 枚程度の欠陥時系列画像を用い、その内最小クラスは300 枚程度であった。実際の画像の例はFig. 4に示した通りである。

 　評価指標としては欠陥各クラスの正答率の平均を評価値として用い， 手法の有効性を確認するため，以下の2 パターンで比較をおこなった。

・時系列画像をそのまま用い欠陥分類を行った場合

・注目Frameの抽出をおこない欠陥分類を行った場合

　実験環境としては以下を用いた。

CPU: Intel Corei7-9800X

GPU: Nvidia GeForce RTX 2080Ti

Framework: Pytorch

結果を以下に示す（Table １）。

Table 1  Classification performance

　注目Frameの抽出処理により欠陥分類性能が大きく向上していることが分かる。これは注目Frameとして照明の境界付近を用いる今回のアプローチが効果的であることを示している。

　今回の検討により，深層学習による高性能な欠陥種分類を実現することが出来た。現在は本技術を実際の工程へ適用するための検討を進めている。

　深層学習を用いた自動車塗装欠陥の分類手法について述べた。深層学習の適用にあたっては分類に不要な情報の混入が課題となる。我々は照明条件の変動に着目して照明境界付近を注目Frameとして抽出し、注目Frameを基準にした部分動画像を欠陥分類に用いることで高精度に自動車塗装欠陥分類を行う手法を提案し実際の自動車塗装欠陥画像を用いて評価を行った。その結果、欠陥分類性能94 ％という性能を達成した。

　今回紹介した欠陥分類機能をトンネル型検査装置に追加することで、自動車全体の欠陥の検出と分類を行うことが可能となり、検査工程の大幅な効率化が期待できる。

　今後は更なる分類性能と処理速度の向上、画像以外のセンサーとの融合、分類対象の拡大等に取り組む予定である。