人作業が中心となる組立現場では、作業時間を継続的かつ正確に測定することが、ボトルネック工程や作業ばらつき要因を明らかにし、生産性を向上させるための鍵となる。しかし、従来の手作業による作業時間測定と集計は、属人的で担当者への負担が大きく、継続的な改善には限界があった。
　本システムは、Fig. 1に示すように組立作業動画から推定した骨格座標を用いて動作開始・終了タイミングを検出し、自動で作業時間推定を行う。これにより、現場での追加作業を増やさず、ボトルネック工程の特定、作業ばらつきの分析、熟練度評価など、多面的な作業解析が人手を介さずに可能となる。また作業時間推定モデルについては大量のアノテーションが不要となる学習方式を構築し、学習コストが低く抑えられている。さらに、MLOps技術を活用することで、動画撮影・アノテーション・学習・デプロイ・推論・結果可視化といった各プロセスの連携が自動化され、現場での運用をシンプルに保ちながら、改善活動に役立つデータを迅速に提供することを可能にする。

　組立作業時間推定システムの構成を Fig. 2 に示す。本システムは、Service Layer、Data Layer、Job Management Layerの3層で構成される。
　Service Layerは外部とのインターフェイスとして機能し、エッジデバイスや分析者、現場管理者に対して各種サービスを提供する。具体的なサービスには、動画撮影、動画アノテーション、モデル学習結果可視化、予測作業時間の可視化などが含まれる。Data Layerは、撮影した動画データ、骨格データ、アノテーションデータなど、各種データの管理を担う。Job Management Layerは、動画データへの骨格付与、作業時間推定モデルの学習や推論など、各種ジョブを実行する役割を果たす。

1. 作業時間推定モデルのアルゴリズム
　人作業による組立工程では、作業者が上流から受け取ったユニットに対し所定の組立を行い、下流へ渡す動作を繰り返す。本モデルの目的は、この1回の組立作業に要する時間を高精度に推定することである。以下に学習及び推論時の処理概略を示す。

・学習フェーズ
　作業開始および終了タイミングについてアノテーション済みのデータを用いてモデルを学習する。学習では、作業開始・終了時に現れる骨格時系列パターン（モチーフ）を記録する。作業開始および終了タイミングの検出精度を最大化するため、使用する骨格点の組合せとモチーフ長を学習時に最適化する。本モデルは最適化対象のパラメーターが少ないため、少量データで学習可能である。最適化には、OptunaによるTree-structured Parzen Estimator(1, 2を用いたベイズ最適化を採用し、効率的な学習を実現している。

・推論フェーズ
　推論時は骨格時系列データを入力し、開始・終了モチーフとの類似度を各時刻で計算し、類似度プロファイルを生成する。次に、類似度プロファイルのピークを探索し、作業の開始・終了動作の候補位置を抽出する。(Fig. 3)

　さらに抽出された開始候補と終了候補をペア化し、各ペアに対して評価スコアを算出する。スコアは、モチーフとの類似度および作業標準時間との乖離度の二要素から構成される(スコア表の例はTable 1に示す)。

Table 1. 作業開始・終了候補ペアに対するスコア表の例

　最後に、動的計画法を用いてスコアの高いペアを効率的に選択し、組立作業区間として出力する。各区間の時間幅より組立作業に要する時間が求まる。(Fig. 4)

2. システム設計
2.1. 現場の変化に追従できるモデル適用プロセスの設計
　組立現場は4M変動（作業者や工程設計）による変更が多く、変更発生時のモデル構築、ワークフロー反映を迅速に行う必要がある。本システムでは撮影からアノテーション、モデル評価・デプロイ、推論結果集約に至るまでの連携コストを削減することで現場改善アクションの高速化を実現している。各プロセスに必要なデータをDataLayerに集約し、データの有無をイベントとしてJob Mangerが各プロセスの連携を自動化している。これにより各ユーザは自身の責務に集中することが可能である。

2.2. 高負荷動画データに対応した拡張可能な処理基盤
　動画という高負荷データを安定・高速に扱うため、撮影から解析までを最適化したインフラを構築した。エッジ端末側で人検知を行い、人が映っている区間のみを撮影・送信する方式により、データ量と処理量を大幅に削減している。さらに、複数カメラに対応したリアルタイム動画ストリーミング機構を導入し、映像を遅延なくサーバーに送信することで、重い動画データであっても安定した高速転送を実現した。サーバー側ではストリーミングを直接入力として骨格抽出と動画保存を並列に処理する構成とし、分析工程全体の効率を向上させている。加えて、カメラとエッジ端末のペアを動的に増設・削除できるアーキテクチャーとすることで、現場変動に柔軟に対応可能な拡張性を備えている。

3. 現場適用結果
本システムを社内プロダクションプリンターの組立工程に適用した結果を述べる。Fig. 5に示す通り作業者直上にカメラを固定した。この作業工程では作業者右側の台からユニットを受け取り、組立作業完了後に作業者左側の台へ置くまでを1回の組立作業区間として定義し、作業者がこれを繰り返す様子を動画化した。

　モデル予測区間と正解区間の比較例をFig. 6に示す。少数の検出漏れを除き、予測区間が正解区間は概ね整合していることが確認できる。さらに計7.5時間分の動画に対する検証結果では正解の平均作業時間39.2秒に対し、予測の平均作業時間は38.3秒となっており高精度な作業時間推定が可能であることが確認された。

Table 2. データセット全体での平均作業時間

　予測結果は可視化アプリケーションを用いて容易に確認できる。Fig. 7に示す作業時間分布の表示機能例では、指定した期間における作業時間の分布や統計量を把握することが可能である。このような情報を元に現場管理者はボトルネック工程やばらつき要因の特定など、効果的な現場改善活動が可能になる。(Fig. 7)

　本システムは現在、社内製造現場において価値検証を実施中である。今後は、システムの機能強化と改善ワークフローの整備を進め、現場が高速に継続的な改善サイクルを回すことが出来る仕組みを構築する。単なる作業時間推定にとどまらず、現場改善に直結するソリューションとして進化させることを目指す。