はじめに(自己紹介)
こんにちは。大阪国際工科専門職大学 工科学部 情報工学科 AI戦略コース3年の西村優登です。趣味はアニメとラノベ、それから筋トレです。
今回の臨地実務実習のテーマは、「出たばかりの最新AIを、すぐに試して、本物の機械を動かす」ことです。三上さんから「話題のモデルを試してみたら」と提案していただいたことから始まりました。
実習テーマ:最新AIで機械を動かす
AIの世界では、毎週のように新しいモデルが発表されます。この実習では、発表されたばかりのモデルをその週のうちに試し、ゲームやロボットで「本当に使えるか」を確かめました。
今回使った最新AI
- d1-3B(Liquid AI):選択肢から「選ぶ」ことに特化した意思決定AI。課題を始めるわずか2日前に発表。ノートPCで動き、画像も読めます
- Jev(TypeSafe AI):クラウドで動く意思決定AI。課題を始める24日前に発表
- WeVisOne-VL(Tencent):画像の中の物を言葉で探せるAI。DENSOのロボットと組み合わせました
- Jev-Vision-2B、kanana-2-v-decide-3b:新しく出た意思決定AI。シミュレーターでd1-3Bと比べました
- Claude(Anthropic):プログラムはすべて生成AIのClaudeが書きました
実習の流れ
- 課題1:スマートカー(約1週間)カメラでマーカーを探すタイムレース。大手金属加工メーカーの実習生の皆さんと合同で参加させていただきました
- 課題2:意思決定AI(約1週間)クラウドのJevと、手元のd1-3Bを弾幕ゲームで比べる
- 課題3:協働ロボットUR5e(約2週間)ティーチングなしで、d1-3Bの選択でロボットを動かす
- 課題4:DENSOのロボット × WeVisOne-VL(11/2〜11/4)言葉で指示した物を見つけて運ぶ
成果
- UR5e実機:ティーチングなしで、消しゴム・ペン・銀の棒の3つとも箱へ(「全部の物を箱に入れて」で3/3を4回記録)
- AIが全部を決めてロボットが動く:どれからつかむか・追い方・閉じるかまで、d1-3Bが0.2秒ごとに選び、腕は止まらずに動き続ける
- シミュレーター:置いたままの物も、途中で動かした物も、すべての場面で成功
- 弾幕ゲーム:d1-3Bは30回中29回クリア(クラウドのJevは30回中0回)
- 発表2日後のAIを、ロボットで使えるまで仕上げた:判断の速さを202ms → 66ms、聞き方を変えて正解を14問中8問 → 14問すべて
- スマートカー:マーカー5個の探索レースで30.46秒(計測した3人の中で最速)
- DENSOのロボット:WeVisOne-VLで見つけたボールを箱へ(5回中4回、通しでは3球とも)
- 成果をnote 2本・YouTube 2本で公開
課題1:スマートカー
車のカメラでマーカーを5個探すタイムレースです。遠くのマーカーが小さすぎて見つからなかったので、半分の大きさでも見つかる設定にし、本番は30.46秒で最速でした。
ただ、本番の2日前に基板から煙が出ました。合同実習先の担当の方に見ていただくと、いちばん疑わしいのは電池の向きの逆とのことでした。再発防止報告書を出し、電池とケースに+と−の印を付けました。
課題2:最新の意思決定AI「Jev」と「d1-3B」を比べる
ふつうのLLMは答えを1文字ずつ書くので時間がかかります。意思決定モデルは文章を書かず、選択肢ごとの確率を1回の計算で出します。インターネットの先で動く「Jev」と、課題を始める2日前に発表されたばかりの「d1-3B」を、自作の弾幕ゲームで比べました。d1-3Bは手元のノートPCで動きます。
Jevは通信の往復で1回約175msかかり、答えが届くころには弾が進んでいて、30回中1回もクリアできませんでした。d1-3Bは1回約30msで、30回中29回クリア(上下左右の動き15回中14回、弾幕15回中15回)。この形のまま、産業用ロボットに進みました。
課題3:ティーチングなしで、AIの選択でロボットを動かす
マットの上の消しゴム・ペン・銀の棒を、「全部の物を箱に入れて」の指示でロボットが箱に入れます。物の位置はティーチングしていません。
しくみ:測るのはプログラム、決めるのはAI
- 2台のカメラで、プログラムが物の位置や大きさを測る
- その数字を文章にし、画像と選択肢と一緒にd1-3Bに渡す
- d1-3Bがいちばん良いと選んだ動きを、ロボットが実行する
腕は20msごとに動き、d1-3Bには0.2秒ごとに聞きます。腕は答えを待たずに動き続け、最新の答えに従います。文章を1文字ずつ書くこれまでのLLMでは間に合わなかったリアルタイムの制御が、「選ぶ」AIでできるようになりました。
シミュレーターから実機へ
まずシミュレーターで、置いたままの物も、途中で動かした物も全部つかめることを確かめ、同じプログラムで実機に進みました。
実機でも3つとも箱に入れられました(3/3を4回記録)。三上さんに「探す時間が長い」と言っていただき、遅い所を測って48秒から19.9秒に縮めました。
課題4:DENSOのロボット × WeVisOne-VL
最後の課題では、画像の中の物を言葉で探せる最新のAI「WeVisOne-VL」を、DENSOの産業用ロボットVP-6242とつなぎました。カメラの画像からボールを見つけ、ロボットの座標に直して、箱へ運びます。5回中4回、通しの本番では3球とも運べ、デモまで終えました。
新しく出たAIとも比べ続けた
実習の終わりには、三上さんの依頼で、新しく出た意思決定AI「Jev-Vision-2B」と「kanana-2-v-decide-3b」をUR5eのシミュレーターでd1-3Bと比べました。今回の作り方では、d1-3Bがいちばん良い結果でした。
工夫したこと・苦労したこと
- 速さ:d1-3Bの計算を軽くして、1回202msから66msに。答えが変わらないことを169問で確かめました。
- 聞き方:「はい・いいえ」で聞くと14問中8問、選択肢を並べて選ばせると14問すべて正解になりました。
- 苦手を補う:d1-3Bは距離を比べるのが苦手(57%)だったので、数字はプログラムが測り、危ない選択肢は先に外しました。
- 実機との違い:カメラのずれや、つかむ前に「触れた」と判定してしまう問題など、実機で初めて出た問題を1つずつ直しました。
- 安全:ペンにひびを入れてしまったことから、下りているあいだに力が20N増えたら、AIの答えに関係なく上がるようにしました。
開発手法:プログラムもAIで(人間は決める・確かめる)
開発にも最新のAIを使い、プログラムは生成AIのClaudeが書きました。私は何を作るかを決め、実機で試して確かめ、非常停止ボタンを持って安全を見ました。反省は、全部をClaudeに頼ったことです。
実習で学んだこと
動かす前の確認がいちばん大事 発煙もペンのひびも、確認不足から起きました。機械は一度動くと取り返しがつかないことがあります。
シミュレーターで動けば、実機まであと一歩 ただ、明るさや光る物など、実機でしか分からないこともありました。
最新のAIにも限界がある 苦手な所はプログラムで補い、AIには得意なことをさせる。聞き方ひとつで結果も大きく変わります。
自分で決めて、自分で責任を取る AIは速く作ってくれますが、決めて、確かめて、責任を取るのは人間です。
就職先の選び方 「せめて自分に向いていて、少しでも苦が少ないものを選ぶ」という言葉が心に残っています。
そして何より、最新のAIを使うのは楽しかったです。発表されたばかりのAIを、その週のうちに試して本物のロボットを動かせる環境は、なかなかありません。
今後やってみたい改善
- 実機で、動いている物をつかむ(今はシミュレーターだけ)
- カメラの送り方を変えるなどして、もっと速くする
くわしい記事(note)
しくみや試した結果は、noteにもくわしく書いています。
最後に
毎週のように新しい機械と最新のAIに挑戦させていただき、失敗のあとも一緒に原因を考えていただきました。ここで学んだことを、これからの勉強と仕事に活かしていきます。
1カ月半にわたりご指導いただいた三上さん、そして1週目のスマートカーで合同で参加させていただいた大手金属加工メーカーの皆さま、本当にありがとうございました。