概要
一般ユーザーがスマートフォン1台で撮影した“立体物（ホビーアイテム等）の周回動画”から、高品質な3D表現を自動生成するβサービスの開発を当社が担当しました。
撮影〜アップロード以降の前処理・最適化・可視化用出力までをAWS上の専用パイプラインでフルオートメーション化。ユーザーは動画を撮影してアップロードするだけで3D化を体験できます。
背景・課題
- 従来の写真ベース再構築は撮影点数／スキル依存が高く、一般ユーザーにはハードルが高い。
- フォトグラメトリ方式では細部のデティールが潰れてしまいがち
- β段階でも処理品質の安定とスケーラビリティが求められる一方、運用コストは抑えたい。
- キャラクター／メカ系など精緻なディテールを持つ立体物でも破綻の少ない3D表現を短時間で提供したい。
ソリューションの要点
- 入力：スマホで撮影した2分間程度の360度の周回動画（1本）
- 前処理：NerfStudio の
ns-process-dataによるデータ整形／カメラ軌跡推定・正規化 - 再構築：NeRFベース推定結果からGaussian Splatting（ガウシアン・スプラッティング）表現を生成
- 基盤：AWS上の自動処理パイプライン（イベント駆動・ジョブキュー・バッチ実行・監視／通知）
- 体験：ユーザーは撮影→アップロードで完結。以降は非同期自動処理、可視化用アセットを出力
パイプライン構成（ハイレベル）
- 動画アップロード：ユーザーがβページから周回動画を送信
- ジョブ受理：メタデータ付与・キューイング／実行キック
- 前処理：
ns-process-dataによるデータ整形・軌跡推定・スケール調整 - 最適化・推定：NeRF によるボリューム推定
- 変換：Gaussian Splatting 形式へ高速レンダリング前提の表現最適化
- 成果物出力：可視化用アセット／プレビュー生成、状態管理・通知
- 監視：ログ集約、失敗時リトライ、ジョブトラッキング
ポイント：撮影条件の揺らぎや端末差を想定し、前処理〜推定〜変換までを一貫自動化。
β運用に必要な冪等性／リトライ戦略／可観測性を備え、スケールアウトに対応。
技術ハイライト
- NerfStudio
ns-process-data：撮影素材のばらつきを標準化し、後段の安定性を向上 - Gaussian Splatting：リアルタイム志向の可視化に適した表現で軽快な閲覧体験を実現
- AWSパイプライン：イベント駆動で自動実行、スケーラブルかつ運用容易性の高い基盤設計
- AWS DeadlineCloud：変換ジョブの管理に使用。効率的かつ容易に管理
導入効果
- ユーザー体験の平易化：スマホ周回動画のみで3D化が完了。専門知識が不要
- 運用コスト最適化：手作業の人手オペレーションを削減、夜間バッチも自動化
- 表現品質の安定化：前処理標準化とパイプライン化により再現性を確保
- 将来拡張性：モデル更新やアルゴリズム置換を疎結合で迅速に差し替え可能
当社の担当範囲
- 要件定義／技術選定（NeRF系→Gaussian Splatting、基盤：AWS）
- 処理パイプライン設計・実装（ジョブ管理、状態遷移、監視・通知）
- 前処理〜変換の自動化（
ns-process-data連携、最適化・変換の一括実行） - 品質・運用設計（失敗時ハンドリング、再実行、ログ観測性の確保）
- β運用支援（パフォーマンス／安定性チューニング、運用ドキュメント）
ユースケースの広がり
- ホビー領域：個人コレクションの簡易3Dアーカイブ
- プロモーション：新製品の没入型ビジュアライズ
- EC／D2C：3Dビューワ連携による商品理解の向上
- コミュニティ体験：ユーザー参加型のUGC 3D化体験
