はじめに
皆さん、こんにちは！
大阪国際工科専門職大学 情報工学科 AI戦略コースの2年、赤松志優です！
趣味はアニメ鑑賞、ピアノ演奏です！絶対音感も持っています！
今回の実習では、**「最新のAI技術を使って、現場の出荷検品作業を自動化するシステム」**の開発に取り組みました。
単にAIを動かすだけでなく、現場での運用を想定してバックエンド(FastAPI)、フロントエンド(React)、監視ダッシュボード(Electron)、そしてDockerによる環境構築まで、モダンな技術スタックをフル活用して一つのシステムを作り上げました。
本記事では、開発したシステム「sam3-shipment-verifier」の構成や、技術的な工夫点について振り返ります！
システム概要
本システムは、スマートフォンのカメラで製品を撮影するだけで、AIが個数を瞬時にカウントし、出荷内容の正誤判定を行うWebアプリケーションです。
Meta社の最新モデル「Segment Anything Model 3 (SAM3)」をバックエンドのサーバーマシンに搭載し、従来の手法では難しかった重なり合った物体の認識や、柔軟な個数判定を実現しました。判定結果が「OK」の場合は、自動で納品書PDFを生成・印刷する機能も備えています。
そもそもSAM3って？？？？
一言で言えば、SAM3は「画像の切り出し（セグメンテーション）における基盤モデル（Foundation Model）」です。
従来のセグメンテーションAIは、「ネジを認識させたいならネジの画像を大量に学習」「バナナならバナナを学習」させる必要がありました）。しかし、SAM3はGPTが「どんな文章でも生成できる」のと同様に、「学習データにない未知の物体であっても、それが『物体』である限り切り出せる」という汎用的な能力を持っています。
これが、多種多様な部品を扱う出荷検品の現場において、追加学習なしで導入できる決定的な理由です。
このモデル、なんといっても事前学習量の桁が違うのです！
・画像の枚数: 約 1100万枚 の高解像度画像
・アノテーション（正解のマスク）の数: なんと 11億個 (1.1 Billion Masks) 以上
従来のセグメンテーション用のデータセットと比べても数百倍の規模になっています！
Metaが開発した「データエンジン（モデル自身がアノテーションを手伝い、人間が修正してデータを増やす仕組み）」を使って効率的に収集されました。
だからこそ、私たちの現場の特定の部品の画像を一枚も学習させることなく、高精度な切り出しが可能になるのです。これは、人類が蓄積した膨大な視覚データの上に成り立つ技術といえます。
例えばグリップってプロンプトを打ってみると…
クリップが色付けでセグメントされます！！！！
今回のシステムはこの一連の動作を0.5秒以内に終わらせるというのが目標です！！！！
システムの一連の流れ
ちゃんと一連の流れができました！！！
最後に映っているPDFが同時に印刷されます！！！
銀色のトレーに銀色のねじやクリップがちゃんと認識されていることがこのSAM3のすごいところです！！
バイブコーディング
このシステムを構築するのに実は…
人間がコーディングをしていないのです！！
今回の開発では、限られた実習期間で成果を最大化するために、**「Vibe Coding（バイブスコーディング）」**という手法を意識的に取り入れました。
Vibe Codingとは、コードの細部を一行ずつ手打ちするのではなく、自然言語でAI（LLM）に「実現したい挙動（Vibe）」を伝え、生成されたコードをレビュー・修正しながら組み立てていくスタイルです。
具体的な進め方：
- 要件の伝達: 「スマホで撮影したら、Python側でSAM3を動かして、結果をJSONで返して」といった大まかな設計（Vibe）をAIに指示。
- エラー解決: 発生したエラーログをそのままAIに読み込ませ、「どこが原因で、どう修正すべきか」を即座に特定。
- 本質への集中: 構文エラーやボイラープレート（定型コード）の記述はAIに任せ、自分は**「判定ロジックをどうするか」「ユーザー体験をどう良くするか」**という、システムの本質的な設計に時間を割くことができました。
結果として、FastAPI × React × Docker という複雑な構成でありながら、短期間でプロトタイプを完成まで持っていくことができました。
まとめ
実習期間は4週間でしたが…
自分のAIに対する考え方が180°変わっちゃいました！！
今まではAIのコーディングは自分の補助にしかならないだろうと考えていましたが今回ではAI主導でコーディングをしてもらってました！
自分が実習入ってからも新しいローカルLLMがたくさん出てきてしまって、、、
これからはもっともっと賢くなっていくと思うのでとても楽しみです！！
最後になりますが、実習を受け入れてくださったスリーアップ・テクノロジーの三上さん。本当にありがとうございました！！
この実習で培った技術やノウハウをこれからも活用していこうと思います！！