近ごろ機械設備の導入により自動化が進められている。ものづくり現場には、人手による作業も多く残されていて、それが生産性の向上を阻んでいる。従来、手指を使う細かい作業をAI分析するには、各工程で用いられる部品や道具を事前登録した大量の教師データが必要だったという。
NECは、工場での組み立て等の人手による作業において、AIを活用した映像解析により一般的なカメラで撮影した数回分のお手本映像だけで学習モデルを作成し、手指の動きを捉えて数十種類の細かい作業を高精度に識別することで、全工程の流れを見える化する技術を開発した。作業で用いられる部品や道具の事前登録を不要とし、作業を識別可能とした技術は国内初だという。
新開発技術は、各指の関節と指先（両手合計42箇所）の動きを基に、捉えた手指形状の特徴量と指周辺の画像特徴量との共起関係（ある手指の形と、特定の部品や道具が同時に現れる状況）を学習する方式のため、個別の部品や道具を登録して学習する必要がない。これにより、少ない映像で学習モデルを作成し、「モジュラージャックを取る」「マイクをはめ込む」「電動ドライバーでネジを締める」といった作業の高精度識別が可能になる。
細かい作業の識別と、各作業時間の測定ができるので、作業の手順違い/手順漏れの発見や、規定の作業時間と実作業にかかる時間の差を分析することが可能となり、部品置き場の再調整、組立て方法や手順の指導・再考、生産性の向上に貢献するという。新技術をNECプラットフォームズの白石事業所で撮影した製品組立ての実験映像に適用した結果、各作業時間を高精度に実測し、予め規定した時間との差異を把握することができたという。
同社は、人手作業の分析を容易にし、生産性アップに寄与する上記新技術について、これから製造・建設・物流・小売などの現場作業で検証を進め、2022年度中に事業化していく構えだ。