実習内容（2023/09/16~10/10）

ユーザ認識型対話AIの開発

09/16から10/10までの期間にわたり、ユーザ認識型対話AIの開発に専念しました。いくつか壁を越えてプロトタイプが遂に完成しました。この過程でNode-REDやDockerの学習も行いました。

ChatVRMという3Dキャラクターと会話ができるOSSをベースに開発を進めました。OSSとはコードが公開されていて誰でも自由に使用・改変できるソフトウェアのことです。OSSのカスタマイズは初めての挑戦で、多くの苦労がありましたが、それだけに技術力の向上も感じています。

プロトタイプのデモ動画も製作したので、ぜひご覧ください。

各コンテナ間の通信は全てNode-REDで行っています。Node-REDはフローベースのプログラミングツールで、IoTデバイスなどと容易に連携ができます。時報機能の追加もNode-REDを用いて実装しました。

私が開発した機能は大きく分けて３つです。

これは自然な会話を実現するための必須機能です。開発中で最も苦労した部分でもあります。トリガーとなる条件は、音声が一定の大きさを超えた場合です。センサーの利用も考慮しましたが、UIをシンプルに保つために音声認識を選びました。

ユーザーの認識にはBLIP2という画像のキャプションを生成する AIモデルを採用しました。Pythonプログラムで写真を撮影後、BLIP2で処理を行い、認識を可能にしました。この機能を追加することで対話型AIのマルチモーダル化に成功しました。

この機能の実装にはNode-REDを用いました。Node-REDの活用により、その他の環境変数（時間、気温など）も簡単に組み込むことができました。対話型AIを常時稼働させているので、時報によって和ませてもらっています。今後は、音声によるスマートホーム機能の追加も計画しています。

このインターンシップでの経験は、私にとって非常に価値のあるものでした。多くの技術を学び、ソフトウェアの開発を行うことで、多くの知識とスキルを身につけることができました。特にNode-REDや様々なAIモデルなど新しいツールや技術に触れる機会が多かったことは、今後大いに役立つと感じています。

このような貴重な機会を提供していただいたスリーアップ・テクノロジーさんには心より感謝しております。また、指導していただいた三上さんに多大なるサポートをしていただき、それがこの成果に導いた最大の要因であると強く感じています。

今後とも、この経験を生かして更なる成長をしていく所存です。社会問題の解決にAIを活用できるような人材になれるよう精一杯努めていきます。最後まで読んでいただきありがとうございました。