EyeTrackシステム —
AIとともに新規開発

EyeTrack は 「カメラの向きに照明が連動し、被写体を自動で追い続ける」 ことを北極星に据えた追尾照明システムです。開発では、実機・図面・3D シミュレーターの三者を同一の器具座標で結び、AI と対話しながら設計・検証・修正のループを高速に回しています。

実機を会場に組む前に、Unreal Engine 5 上へ実寸アリーナを再現。Movable SpotLight 12 台が、実機と同じ追尾ソルバの座標で被写体に向き、パン／チルトとビーム形状を可視化します。カメラ連動 AI 追尾に対する傾き補正値のオフライン検証環境としても機能します。

• 実寸アリーナ（50×30 m・吊り 6.5 m）で 12 台の追尾挙動を可視化・検証
• 図面・実機と同一の器具座標を共有し、図面 ⇔ 実機 ⇔ UE5 を突き合わせ
• 操作卓 UMG シミュレーターで実機 UI（フェーダ／カメラ同期）を再現

AIとともに新規開発した UE5 版。実寸アリーナで Pluto 550 Hybrid ×12 が被写体を自動追尾します。

初代 UE4 版 EyeTrack。自動追尾を実現しました。影を見ると追尾精度の高さが分かり、壁も階段も、人物に焦点を合わせているので高さまで追尾します。
#UnrealEngine #DMX #Artnet #UE4 #tracking #lighting

▼ 2021 年の開発記録（YouTube「UnrealEngine-Eyetrack Demo&Test」より）

• 2021/06/09UE5-Eyetrack Editor 新規開発環境テスト
• 2021/05/21UE4 新規開発環境（i7-10700 / RTX2070 Super）
• 2021/05/06UE4-Eyetrack Editor Utility Widget Blueprint 試験
• 2021/05/03UE4-Eyetrack デモ記録ソフト試験（配布用）
• 2021/04/26UE4-Eyetrack 水面ライティング テストデモ
• 2021/04/23UE4-Eyetrack AI追尾＋カメラズームビュー
• 2021/04/22UE4-Eyetrack AI追尾テスト
• 2021/04/20UE4-Eyetrack マルチ制御＆カメラビュー
• 2021/04/19Eyetrack Unreal Editor DMX出力
• 2021/04/16自動追尾照明 カメラデモ
• 2021/04/16ゲームパッド PTZカメラ Eyetrack
• 2021/04/15追尾照明 PTZカメラ Eyetrack No.4
• 2021/04/15自動追尾照明 Webカメラ
• 2021/04/14自動追尾照明＆カメラ
• 2021/04/13自動追尾照明 成功！！
• 2021/03/29Unreal Engine DMX Art-net入力 ゲームパッド Raspberry-Pi
• 2021/03/29UE4 ムービングライト制御 ゲームパッド
• 2021/03/23UE4 DMX Art-net入力 WiFiスティック
• 2021/03/09Panasonic ネットワークカメラ 新Eyetrack取込確認
• 2021/03/09カメラ映像にタイムスタンプ・カメラ位置・センターマーク表示

設計・実装・検証を、AI（Claude Opus）との対話で反復しています。仕様の言語化からコード生成、座標データの突き合わせ、ビルド反復までを一体に回すことで、従来は数日かかっていた拡張を短時間で完遂できるようになりました。

• ムービングライト 12 台の追加制御を 1 セッションで完遂（実機ファーム＋GDTF/MVR 座標）
• CAD 図面・実機ソルバ・UE5 の三者を同じ座標で AI が突き合わせ、ズレを検出
• エディタ終了 → ビルド → 再起動の反復を自動化し、検証ループを短縮
• 図面・3D・ドキュメントを AI が生成し、設計意図を記録として残す