スリーアップ・テクノロジー　臨地実務実習

自己紹介

～AI画像認識ロボットハンドリングシステムの構築～

前回の実習先のブリッジソリューションで取り組んだ画像認識AIが実際の現場に納品されました。
その画像認識AIはスリーアップ・テクノロジーで開発されており
前回の実習経験から継続してAIのさらなる効率化と課題の解決を取り組むことになりました。

実習中の目標

なぜキーポイント検出なのか？

課題：パーツ毎にAI学習済みモデルが必要であった

以前の画像認識AIの課題点が1つのパーツごとに画像学習させる必要があり
複数のパーツがあると時間と手間がかかってしまうところが課題でした。

また右の画像のような大小さまざまな20種類のパーツは社外秘の情報になるため
説明などに使う画像は左の社外秘ではない汎用品を使わせていただきます。

今回の実習ではタスクを画像認識とロボット制御の2つに分け私は画像認識を担当しました。

画像認識で達成したいタスク

　AI領域検出、キーポイント検出、ロボットアームとの連携の3つになります。

　今回の実習で達成出来たのはAI領域検出とキーポイント検出になります。

AI領域検出について

AI領域検出用の学習データの作成

AI領域検出で画像を認識するには2つのデータが必要で学習させたい画像とその画像のJSONデータです。
今回はJSONデータの作成にlabelmeというアプリケーションを使いました。

AI領域検出の推論結果

こちらは先ほど作った学習用のデータを使って画像を学習させた後、推論したものです。
認識したい物体を白の領域で検出することができました。

キーポイント検出について

キーポイント学習用データの作成

先ほどの推論の結果から画像を切り取りキーポイント検出の学習用の画像を作成します。
推論結果にある白い領域の分この作業を行います。

キーポイントの学習用JSONデータの作成

作成した物体だけが写る画像を使いJSONデータを作成していきます。
今回は3点のキーポイントを学習させたいので3つの点を打ちます。
ネジ先を「p1」、ワンタッチ(ねじ先)部分を「p2」、エルボ部分を「p3」という名前付けしました。

テスト用画像でのキーポイント検出

作成した学習データで学習させテスト用の画像を使い
キーポイント検出を行いましたが3点とも検出することが出来ました。

学習時のデータについて

この表とグラフではキーポイント検出の画像学習させた際のデータを載せています。
グラフの縦軸loss値が低いほど画像認識において性能がいいです。
今回のキーポイント検出ではlossの値が150を下回ると3点のキーポイントを
検出ができるようになり学習させる種類を増やすほど最終的なloss値が下がっていきました。

作成したPythonコードの一例

こちらのコードはchatGPTを活用して作成しました。

まとめ

達成できた点
・AIの物体領域検出とキーポイント検出、2つの目標を達成できた。
・20種類を1つのモデルで学習させキーポイント検出することができた。

苦労した点
・chatGPTでPythonコードを作成しても基礎知識が足りておらず
　動作しなかったときになかなか修正できなかったこと。
・画像学習に使うデータを2100枚作成する必要があったこと。
・物体のキーポイント検出に関するweb情報が少なかったこと。
反省点
・一人ではキーポイント検出のPythonコードを作成しきれなかったこと。
・一人で解決できる容量を超えていても一人で課題に取り組んだこと。
　スケジュール管理ト経過報告がこまめにできていれば ロボットアームとの連携が達成できたかもしれないこと。

実習で得たもの

・目標達成に向けての経過報告や相談の重要性
・chatGPTのカスタムや活用方法、コード開発の習得
・Pythonでの開発に必要なスキル
・画像認識AIに関する知識・作成方法
以上の4つが実習中に得れたものになります。

最後に

今回の臨地実務実習ではあまり触れたことのないAIに多く触れることができ多くのことが学べました。
昨今ではAIの発展がすさまじく実習中に2回もchatGPTがアップデートされ性能が大幅に向上していました。
1か月半の間様々な経験をさせてもらい私の夢にも必要な技術をを学ぶことができ充実した時間を過ごせました。

スリーアップ・テクノロジー三上 典秀さん1か月半の間本当にありがとうございました。