お問い合わせはこちら

協業や技術に関して
お話しましょう

製造業におけるFORXAI IoT Platformの活用

製造業におけるFORXAI IoT Platformの活用

Applications of FORXAI IoT Platform for Manufacturing Industry

  • 吉澤 将則* Masanori YOSHIZAWA
  • 竹田 健太郎** Kentaro TAKEDA
  • 髙橋 光一* Koichi TAKAHASHI

*画像IoTソリューション事業部 FORXAI推進部 パートナーエンゲージメントグループ 
**IoTサービスPF開発統括部 アーキテクチャ開発部 第1グループ

要旨

 製造業においては未だデジタル技術の取り込み,DX化が十分にできていない生産現場が多く存在しており,改善の余地がある。この現状に対し,コニカミノルタは自社の生産現場の分析により先行して課題を発見することで,画像技術とIoT技術を組み合わせた“画像IoT”システムによる解決策の提案につなげている。生産性の向上や労働安全など解決すべき課題は多岐にわたっており,それらを解決するシステムを効率的に開発する必要がある。

 そこで,コニカミノルタが開発した共通基盤であるFORXAI IoT Platform(以下,IoT Platform)を活用し,製造現場のカメラ映像を解析し活用するための共通アーキテクチャを策定した。製造現場の課題の多くはカメラ映像の解析により可視化することができるため,「製造業工程の生産性可視化」や,「労働安全ルール遵守の可視化」といった機能を共通のシステムの中で構築することが可能となった。今後,他の用途にも容易に展開できると考えている。

 本稿では,IoT Platformを用いた製造業向けサービスの共通アーキテクチャと開発事例について説明する。

Abstract

  In manufacturing industry, there are so many companies and sites that have not sufficiently adopted digital technology and DX. To promote DX for the industry, Konica Minolta investigate issues by analyzing our own production site in advance and proposes “Imaging IoT” solutions for the issues by using combination of our imaging technology and IoT system. Since there are a wide variety of issues, such as productivity and industrial safety, it is necessary to develop them efficiently.

  Therefore, we developed the common architecture for analyzing and utilizing camera images at manufacturing site. The architecture is based on FORXAI IoT Platform (hereinafter referred to as IoT Platform) by Konica Minolta. Since most of the issues at manufacturing site can be visualized by analyzing camera images, it is possible to make solutions such as “productivity visualization” and “compliance visualization for safety” in the common system. We expected that it can be easily expanded to other uses in the future.

  This document describes cases of service development for manufacturing industry by using our IoT Platform and architecture.

1

はじめに

 各種センサーやカメラなどの様々な「モノ」をインターネットに接続し,収集したデータを活用するIoT(Internet of Things)という概念が注目されて久しいが,デジタルトランスフォーメーション(DX)の加速が叫ばれていることも相まって,以前と比べ企業や個人の日々の活動にデジタル技術が広く浸透してきている。
 一方で,製造業においては未だデジタル技術の取り込み,DX推進が十分にできていない生産現場が多く存在する。そうした現場でデジタル技術を用いた改善に遅れが生じている理由として,デジタル技術の初期導入コストの高さや近年のデジタル技術に精通した人財確保の難しさ,といったものがある。我々は顧客接点も多く,さらに自社ノウハウがあることを強みとして製造業へのDX化を支援することで,価値提供を推進している。
 DX化に必要な技術として,コニカミノルタではエッジIoTの共通基盤となるIoT Platform1)を開発した。なお,本稿では,CPSプラットフォーム(Cyber Physical System Platform)とIoT Platformは同義として取り扱う。
 本稿では,IoT Platformを用いた製造業向けサービスの事例を元に,それを実現するためのアーキテクチャ策定のポイントの解説並びに開発事例の紹介を行う。

2

生産現場の課題

 製造業の生産現場における課題のうち,安定稼働に重要な要素である,「生産性に関する課題」と「労働安全に関する課題」について,注目した。

2. 1 生産性

 生産性に関する顧客課題について我々は調査を進め,それは「稼働率の把握が十分に出来ていない」ということであるということがわかった。多くの生産現場において,複数の生産設備を並行して操作する作業者が多くいる実態がある。同時並行作業をすることで,作業者が設備の稼働状態の変化に気付き難く,設備が停止しているにもかかわらず後続の作業を進めない時間帯が生じる場合があり,こうした時間が稼働率の低下につながっている。
 この稼働率の把握を阻害するのが「非効率な作業の存在」である。日々の作業手順は作業者個人に依存する場合があり,作業者によっては「非効率な作業」を行っていることがある。ところが,生産現場の管理者が作業者ごとの日々の詳細な作業内容まで把握することは難しく,現状の分析を正しく行うこともできず,非効率な作業に対する対策を打てないという状況に陥っている。
 結果として適切な製造原価の設定が難しくなる。一般的に生産設備の稼働時間を生産実績として原価へ反映することが多いが,設備だけでなく現場作業者の作業実績を含めないと原価を過少に設定することにつながってしまう。
 このように,作業者の日々の作業内容を管理者が正確に把握することは困難で,日報や作業者自身からの口頭報告に頼り,作業実績を管理している生産現場は未だに多く存在する。

2. 2 労働安全

 生産現場を安定して稼働させることは企業活動として重要である。安定稼働に寄与する一つの重要な因子として労働安全性がある。製造業においては危険な作業や現場も存在し,労働災害が発生すると製造工程を停止せざるを得ないケースも発生しかねない2)
 また,社会課題である人手不足による影響を製造業も受けており,それに伴って実現場では非正規労働者や外国人労働者といった知見が少ない労働者に頼らざるを得ない状況である。さらに,多くの知見を持つ熟練作業者の多くは団塊世代が中心で,こうした作業者の持つ業務ノウハウが次の世代に十分に引き継がれないことも多く,労働災害は高度経済成長以降減少傾向にあったが,近年は下げ止まった状態が続いている3)
 労働災害が起きた場合に経済活動に与える悪影響は大きく,事故や災害の防止に向けての官民を挙げての取り組みが盛んになっている。その一方で,生産現場の安全管理担当者はその他の業務と並行しながら少ない現場リソースで安全活動を推進しており,現場のリスク管理に多くの課題を抱えていることが,コニカミノルタ自社の生産現場を分析している過程で分かった4)
 コニカミノルタでは自社内の労働安全課題を解決するための取り組みとして,コニカミノルタの持つエッジデバイスとIoT Platformを活用した現場の課題解決に取り組んでいる。本取り組みではルール遵守状況を可視化することで安全な現場を実現する手法を提案している。

3

仕様

3. 1 ユースケースの設定

 これらの生産現場における課題に対し,我々は共通基盤のIoT Platformやエッジコンピューティングの技術を用い,現場課題の解決に向けたシステムを策定するために必要なユースケースを設定した。
 「生産現場の生産性可視化」の課題に対するユースケースとして,生産現場における現場管理者が,作業者からの報告に頼らずに日々の現場稼働率を確認できるようにすることを目的としたユースケースを想定しサービス開発を行った。Fig. 1 はそれを支援するための概略ユースケース図である。生産設備の動脈である設備の稼働率並びに,そこに関与する人物の有無を可視化することを目標に設定した。設備の稼働率にかかる手がかりとして,併設されたシグナルタワーの接点信号をクランプセンサーによって稼働状態を収集して時系列に動作実態を把握する。また,人物の有無については設備周囲を俯瞰して撮像するカメラ映像を用い,画像解析によって結果を得ることを想定した。これらのデータをクラウド上
に統合し,時系列に実態を把握できるようにするためのダッシュボードを設ける形を目指した。

Fig. 1 Use case of manufacturing visualization.

 「生産現場の労働安全のためのルール遵守状況の可視化」のユースケースでは,生産現場において台車やフォークリフト等が走行する通路での安全監視を目的としたユースケースを取り上げる。Fig. 2 の概略ユースケース図に示す通り,安全センサーの信号情報若しくは画像解析によるルール違反の検出を行い,その結果をダッシュボード上に表示するようなサービスを目指した。

Fig. 2 Use case of safety behavior monitoring.

 いずれのユースケースにおいても構成するシステムアーキテクチャは共有できるものとし,ユーザーインターフェース部分をそれぞれのユースケースに適した形で開発を行っている。また,センサー機器が設置されている現場から,遠隔の環境下であっても執務用に利用しているPCがクライアントPCとして利用できるシステム構成を想定した。そのため,設置現場にデータ解析やクラウドへのアップロード処理等を行うエッジPCを設置することを前提としている。

3. 2 アーキテクチャ

 Fig. 3 は本システムの概略システム構成を示している。カメラによる映像データ,センサーもしくは設備(若しくは併設されたシグナルタワー)からの信号は現場に併設されたエッジPCへ入力される。エッジPCでは,これらの入力を受けてデータ解析を行い,結果をクラウド(IoT Platform)へアップロードを行う。尚,本システムにおいては,屋外もしくは半屋外での設置が想定されることや,GPU活用によるAI画像解析の実現の両立を鑑みて温度拡張性の高いJetson Nanoモジュールを使用したエッジPCを採用している。

 アップロードされたデータを可視化するためのダッシュボードは,ウェブアプリを通じてクライアントPCから閲覧することが可能となる。クラウド経由とすることでシステムが物理的に小型化されて設置性が改善し,さらに遠隔からの確認や複数拠点のモニタリング用途に応えることが出来るようになる。また,エッジPC内の設定はクライアントPCから設定を行うことが出来る。

Fig. 3 The system architecture (hardware and cloud).

 これらを制御するソフトウェアアーキテクチャ上の主要な構成要素をFig. 4 に示す。“Sensor Apps”ではカメラやセンサーデータの受信とデータ分析を行っている。なお,カメラ映像については,Imaging AI処理として,骨格検出処理を行い,人物行動解析用のデータに変換される。“Data Management/Event Publisher”では解析されたデータの整形と,イベント判定を行っている。
 エッジPC内のデータや命令のやり取りを調停する役割を“Supervisor”が担っている。gRPCプロトコルを用いたメッセージと,メッセージごとに予約されたアクション実行によってモジュール間の結合が実現されている。アプリケーションを自動で再起動する常駐設定や,死活監視はエッジPCの可用性の向上につながっている。
 イベント情報や,ダッシュボードで使用されるデータはAgent経由でIoT Platformクラウドへアップロードされ,更にユーザー向けの“Dashboard App”上で可視化される。
 青色(あるいは水色)の要素はIoT Platformで提供されるソフトウェア要素を利用しており,我々はそれ以外の領域(プロジェクト固有のセンサー制御,データ制御,ダッシュボード)の開発に注力することが出来るようになった。

Fig. 4 Overview of the software architecture.

3. 3 クラウドとデバイス間の制御

 クラウドとエッジPC間の接続については,エッジPCにインストールされたAgentが,クラウド側とのやり取りするためのインターフェース役を担っている。ここでは,Agentからインストールされた機器の個体情報をクラウド側に通知し,クラウド側ではそれが認可された機器であるかどうかを確認することで認証を行う。この認証が成功するとエッジPCとクラウド間での通信が開始出来るようになる。また,Agentの持つ主要な機能の一つに,データアップロード機能がある。エッジPCからクラウドへのデータアップロードを行い,クラウド上にある,ストレージにデータを格納することができる。
 エッジ側に設定されるファイアウォールによりエッジPCに許可していない外部からの通信を遮断することで,セキュリティへの配慮も行っている。

3. 4 画像解析

 カメラ映像からの人物行動解析を実現するために,本システムではFORXAI Imaging AI技術の一つである骨格検出アルゴリズムを採用している5)。入力された画像に対して,Fig. 5 左に示すような画像上の骨格位置情報を得ることが出来る。
 本システムの用途においては,得られた骨格位置情報のうち特定部位が所定の矩形の内部に含まれているかどうかの判定を行う。Fig. 5 右の図は『手首』の位置が水色で示された矩形内にある場合を示している。この判定を用いて,例えば機械作動中に手を入れて作業するような危険行為の抽出や,特定作業をしているかどうかの作業判定などに利用することが可能となる。

Fig. 5 Skelton detection.

3. 5 データフロー管理

 カメラ映像,カメラ映像の画像解析結果,センサーデータといった入力データは五月雨式に入力されて来るため,エッジPC内では各モジュール間の処理の整合をとり,イベントの抽出やその際のアクションを適切に実行することが求められる。本システムでは Fig. 4 のSupervisorがその役割を担い,モジュール間のメッセージのやり取りや,状態監視を行っている。このモジュールを仲介することで,データの入力~解析~イベントの判定~データアップロード等のアクションの実行という一連の流れを実現している。また,モジュールの動作状態を常駐して監視しており,異常停止したアプリケーションを検出すると当該アプリケーションを自動的に再起動させ可用性を向上させている。

4

本システムの活用事例

 それぞれのユースケースでのユーザーインターフェースについて取り上げる。

4. 1 生産現場における生産性の可視化

 本ユースケースでは,生産現場の管理者が現場の設備稼働状況や,工程の稼働率を視覚的に把握しやすいようにすることを第一にユーザーインターフェース(UI)画面を作成した。
 Fig. 6 は,可視化する対象設備の現在の稼働状況を一覧で表示しているUI画面であり,このUIから現場管理者は生産現場から離れた場所にいたとしても,遠隔で設備の現在の稼働状況を確認することが可能となっている。

Fig. 6 Andon screen (sample).

 また,各設備の稼働率をより詳細に把握したい場合は,日付や期間を指定して振り返りができるようになっており,稼働率を設備ごとに分析することが可能となっている。
 Fig. 7 は,ある設備における時系列での稼働状況をグラフ化したものである。これにより,稼働時間の大小を把握することができ,生産現場における生産計画の改善のための分析に役立てることができる。

Fig. 7 Operation report screen (sample).

 さらに,生産作業中の設備の稼働情報とともに作業者に関する情報をFig. 8 のように並べて比較することができる。この機能を通じて,何かトラブルがあったときにもカメラからの情報と合わせて,作業者がどこでどのくらいの時間作業に従事していたのか,もしくは従事していなかったのか,分析することができる。

Fig. 8 Operation chart screen (sample).

4. 2 労働安全のためのルール遵守状況の可視化

 本ユースケースでは,生産現場内を所定の軌道で台車が走行する現場にて労働災害が起きないように,管理者が現場をモニタリングすることを想定し開発した。
 労働災害につながりかねない行動や違反行動を自動的に検知し,その検知結果を管理・共有するためのツールとして提供している。
 本ユースケースにおいて,コニカミノルタが開発した行動モニタリングシステム6)の技術を本システムに組み込み,3D LiDARによる進入禁止エリアへの進入検知をトリガーとしたイベント検出を行っている。3D LiDARで検知した結果を撮影したカメラ画像と重ね合わせて可視化表示し,Fig. 9 のようにビューアー上に映し出すことが出来る。

Fig. 9 Sample Image of Video Viewer.

 夜間などのカメラだけでは検出が難しい条件下のイベント検出も,3D LiDARなどのセンサーデバイスを組み合わせることでより精度の高い検出が可能となり,生産現場における労災事故につながる事象の把握に役立てられている。
 また,右側には検出したイベント一覧が表示されており,そのイベントを選択することで,事象発生時の映像を再生することができ,そこで何が起こったのか,なぜ起こったのか,リアルな映像を元に振り返り対策を練るための材料として活用できる。
 これにより,今まで現場業務でどのように労働災害が発生しているのか把握する手段のなかった生産現場の安全管理者は,定量的にかつ記録映像からの事実に基づいて実態把握をすることが可能となり,日々の現場業務の安全確保に向けた対策や管理ができるようになることが期待できる。

5

まとめと今後の展望

 本アーキテクチャを活用して,「生産性の可視化」と,「労働安全ルール遵守状況の可視化」との機能を共通のシステムの中で構築した。製造業向けサービス事例を実現するために,IoT Platformを用いてアーキテクチャを策定した。
 IoT Platformを活用することによって我々はプロジェクトに特化した部分の開発に注力することができ,効率的に開発を進めることが出来た。
 また開発を進める中でユースケースを整理すると,カメラ画像解析もしくはセンサーデータ解析を現場で行い,クラウドで結果の集約・可視化を行うというユースケースで共通化できることもわかった。こういったユースケースは他の用途のカメラシステムにおいても要望されており,本取組は容易にシステム構築できる点で非常に有効なものである。また本件は自社開発に限らずソリューション提供パートナーとの共創活動においても本技術を活用してサービス開始の高速化を支援する期待も高い。
 本構成の製品パッケージ化をすすめ,FORXAI技術を利活用したサービスを自社開発のみならずパートナーとの共創によって広く展開し,社会貢献に繋げていく所存である。

●参考文献

1) 竹田健太郎 他:“コニカミノルタのエッジIoTを支えるCPSプラットフォーム”Konica Minolta Tech.Rep., pp.8–11 Vol.16 (2019)
2) 厚生労働省:“製造事業者向け 安全衛生管理のポイント”,pp.4–7(2011)
3) 厚生労働省HP“労働災害発生状況”(2007–2021)
https://www.mhlw.go.jp/bunya/roudoukijun/anzeneisei11/rousai-hassei/ (2021/10/25)
4) 菖蒲鷹彦 他:“安全情報を可視化する安全行動サポートシステムを活用した労働災害防止への取り組み”Konica Minolta Tech.Rep., pp.136–139 Vol.18 (2021)
5) 関井大気 “Pose Proposal Networks” Konica Minolta Tech.Rep.,pp.12–21 Vol.16 (2019)
6) 吉澤将則 他“センサーフュージョンによる行動モニタリングシステム”Konica Minolta Tech.Rep., pp.22–25 Vol.15 (2018)

このページを共有する

このページを印刷する