はじめに(自己紹介)

実習室でノートPCに向かって作業する西村優登の後ろ姿
実習中の作業風景。

こんにちは。大阪国際工科専門職大学 工科学部 情報工学科 AI戦略コース3年の西村優登です。趣味はアニメとラノベ、それから筋トレです。

今回の臨地実務実習のテーマは、「出たばかりの最新AIを、すぐに試して、本物の機械を動かす」ことです。三上さんから「話題のモデルを試してみたら」と提案していただいたことから始まりました。


実習テーマ:最新AIで機械を動かす

AIの世界では、毎週のように新しいモデルが発表されます。この実習では、発表されたばかりのモデルをその週のうちに試し、ゲームやロボットで「本当に使えるか」を確かめました。

今回使った最新AI

  • d1-3B(Liquid AI):選択肢から「選ぶ」ことに特化した意思決定AI。課題を始めるわずか2日前に発表。ノートPCで動き、画像も読めます
  • Jev(TypeSafe AI):クラウドで動く意思決定AI。課題を始める24日前に発表
  • WeVisOne-VL(Tencent):画像の中の物を言葉で探せるAI。DENSOのロボットと組み合わせました
  • Jev-Vision-2B、kanana-2-v-decide-3b:新しく出た意思決定AI。シミュレーターでd1-3Bと比べました
  • Claude(Anthropic):プログラムはすべて生成AIのClaudeが書きました

実習の流れ

  • 課題1:スマートカー(約1週間)カメラでマーカーを探すタイムレース。大手金属加工メーカーの実習生の皆さんと合同で参加させていただきました
  • 課題2:意思決定AI(約1週間)クラウドのJevと、手元のd1-3Bを弾幕ゲームで比べる
  • 課題3:協働ロボットUR5e(約2週間)ティーチングなしで、d1-3Bの選択でロボットを動かす
  • 課題4:DENSOのロボット × WeVisOne-VL(11/2〜11/4)言葉で指示した物を見つけて運ぶ

成果

  • UR5e実機:ティーチングなしで、消しゴム・ペン・銀の棒の3つとも箱へ(「全部の物を箱に入れて」で3/3を4回記録)
  • AIが全部を決めてロボットが動く:どれからつかむか・追い方・閉じるかまで、d1-3Bが0.2秒ごとに選び、腕は止まらずに動き続ける
  • シミュレーター:置いたままの物も、途中で動かした物も、すべての場面で成功
  • 弾幕ゲーム:d1-3Bは30回中29回クリア(クラウドのJevは30回中0回)
  • 発表2日後のAIを、ロボットで使えるまで仕上げた:判断の速さを202ms → 66ms、聞き方を変えて正解を14問中8問 → 14問すべて
  • スマートカー:マーカー5個の探索レースで30.46秒(計測した3人の中で最速)
  • DENSOのロボット:WeVisOne-VLで見つけたボールを箱へ(5回中4回、通しでは3球とも)
  • 成果をnote 2本・YouTube 2本で公開

課題1:スマートカー

上から見たスマートカー
Raspberry Pi 5で動くスマートカー。

車のカメラでマーカーを5個探すタイムレースです。遠くのマーカーが小さすぎて見つからなかったので、半分の大きさでも見つかる設定にし、本番は30.46秒で最速でした。

ただ、本番の2日前に基板から煙が出ました。合同実習先の担当の方に見ていただくと、いちばん疑わしいのは電池の向きの逆とのことでした。再発防止報告書を出し、電池とケースに+と−の印を付けました。

電池とケースに付けた+と−の印
再発防止のため、電池とケースに+と−の印を付けました。

課題2:最新の意思決定AI「Jev」と「d1-3B」を比べる

ふつうのLLMは答えを1文字ずつ書くので時間がかかります。意思決定モデルは文章を書かず、選択肢ごとの確率を1回の計算で出します。インターネットの先で動く「Jev」と、課題を始める2日前に発表されたばかりの「d1-3B」を、自作の弾幕ゲームで比べました。d1-3Bは手元のノートPCで動きます。

自作の弾幕ゲームの画面
状況の文章と選択肢を渡して、次の動きをAIに選ばせます。

Jevは通信の往復で1回約175msかかり、答えが届くころには弾が進んでいて、30回中1回もクリアできませんでした。d1-3Bは1回約30msで、30回中29回クリア(上下左右の動き15回中14回、弾幕15回中15回)。この形のまま、産業用ロボットに進みました。

Jevとd1-3Bを弾幕ゲームで比べた解説動画(YouTube)。

課題3:ティーチングなしで、AIの選択でロボットを動かす

マットの上の消しゴム・ペン・銀の棒を、「全部の物を箱に入れて」の指示でロボットが箱に入れます。物の位置はティーチングしていません。

三脚のカメラから見たマットと消しゴム・ペン・銀の棒・箱
三脚のカメラから見た作業台。

しくみ:測るのはプログラム、決めるのはAI

  1. 2台のカメラで、プログラムが物の位置や大きさを測る
  2. その数字を文章にし、画像と選択肢と一緒にd1-3Bに渡す
  3. d1-3Bがいちばん良いと選んだ動きを、ロボットが実行する

腕は20msごとに動き、d1-3Bには0.2秒ごとに聞きます。腕は答えを待たずに動き続け、最新の答えに従います。文章を1文字ずつ書くこれまでのLLMでは間に合わなかったリアルタイムの制御が、「選ぶ」AIでできるようになりました。

シミュレーターから実機へ

MuJoCoで作ったシミュレーター。机や物、カメラの位置は実物を測って合わせました。

まずシミュレーターで、置いたままの物も、途中で動かした物も全部つかめることを確かめ、同じプログラムで実機に進みました。

実機のUR5eがマットの上の物を箱へ運んでいる様子
実機のUR5e。マットの上の物を、右奥の箱へ入れていきます。

実機でも3つとも箱に入れられました(3/3を4回記録)。三上さんに「探す時間が長い」と言っていただき、遅い所を測って48秒から19.9秒に縮めました。

d1-3BでUR5eを動かすまでの解説動画(YouTube)。

課題4:DENSOのロボット × WeVisOne-VL

最後の課題では、画像の中の物を言葉で探せる最新のAI「WeVisOne-VL」を、DENSOの産業用ロボットVP-6242とつなぎました。カメラの画像からボールを見つけ、ロボットの座標に直して、箱へ運びます。5回中4回、通しの本番では3球とも運べ、デモまで終えました。

新しく出たAIとも比べ続けた

実習の終わりには、三上さんの依頼で、新しく出た意思決定AI「Jev-Vision-2B」と「kanana-2-v-decide-3b」をUR5eのシミュレーターでd1-3Bと比べました。今回の作り方では、d1-3Bがいちばん良い結果でした。


工夫したこと・苦労したこと

  • 速さ:d1-3Bの計算を軽くして、1回202msから66msに。答えが変わらないことを169問で確かめました。
  • 聞き方:「はい・いいえ」で聞くと14問中8問、選択肢を並べて選ばせると14問すべて正解になりました。
  • 苦手を補う:d1-3Bは距離を比べるのが苦手(57%)だったので、数字はプログラムが測り、危ない選択肢は先に外しました。
  • 実機との違い:カメラのずれや、つかむ前に「触れた」と判定してしまう問題など、実機で初めて出た問題を1つずつ直しました。
  • 安全:ペンにひびを入れてしまったことから、下りているあいだに力が20N増えたら、AIの答えに関係なく上がるようにしました。

開発手法:プログラムもAIで(人間は決める・確かめる)

開発にも最新のAIを使い、プログラムは生成AIのClaudeが書きました。私は何を作るかを決め、実機で試して確かめ、非常停止ボタンを持って安全を見ました。反省は、全部をClaudeに頼ったことです。


実習で学んだこと

動かす前の確認がいちばん大事 発煙もペンのひびも、確認不足から起きました。機械は一度動くと取り返しがつかないことがあります。

シミュレーターで動けば、実機まであと一歩 ただ、明るさや光る物など、実機でしか分からないこともありました。

最新のAIにも限界がある 苦手な所はプログラムで補い、AIには得意なことをさせる。聞き方ひとつで結果も大きく変わります。

自分で決めて、自分で責任を取る AIは速く作ってくれますが、決めて、確かめて、責任を取るのは人間です。

就職先の選び方 「せめて自分に向いていて、少しでも苦が少ないものを選ぶ」という言葉が心に残っています。

そして何より、最新のAIを使うのは楽しかったです。発表されたばかりのAIを、その週のうちに試して本物のロボットを動かせる環境は、なかなかありません。


今後やってみたい改善

  • 実機で、動いている物をつかむ(今はシミュレーターだけ)
  • カメラの送り方を変えるなどして、もっと速くする

くわしい記事(note)

しくみや試した結果は、noteにもくわしく書いています。


最後に

毎週のように新しい機械と最新のAIに挑戦させていただき、失敗のあとも一緒に原因を考えていただきました。ここで学んだことを、これからの勉強と仕事に活かしていきます。

1カ月半にわたりご指導いただいた三上さん、そして1週目のスマートカーで合同で参加させていただいた大手金属加工メーカーの皆さま、本当にありがとうございました。