スマホのカメラ撮影で3D？Luma AIとは

Luma AIは、スマートフォン1台で高精細な3Dモデルを作成・出力できる3Dキャプチャーツールです。アップルのAR・コンピュータビジョングループを退職したエンジニアが開発し、NeRF（Neural Radiance Fields）と呼ばれるAIベースの画像生成技術により、従来の3Dスキャンアプリケーションでは難しかったリアルな陰影などの表現を可能にしています。

現在、Web版とiOSユーザー向けのベータ版の2種類のツールを提供しています。現在、3つの出力フォーマットに対応しています。GLTF、OBJ、PLYの3種類です。以下では、Luma AIの特徴や、3Dモデル作成に活用するメリットについてご紹介します。

Luma AI解説

スマートフォンでのLuma AIの利用

Luma AIをスマートフォンで利用する方法は簡単で便利です。アプリをダウンロードして起動し、キャプチャを開始するだけです。既存の3Dモデルや動画からのキャプチャはもちろん、スマートフォンで撮影した写真から新たに3Dモデルを作成するなど、さまざまなソースからのキャプチャに対応しています。
キャプチャー後、ユーザーは、柔軟なコントロールポイントを使ってモデルを編集し、ジオメトリを調整し、リアルタイムなビジュアルフィードバックを使ってテクスチャを追加することができます。さらに、作成した3Dモデルを好きなフォーマットで出力することもできます。

NeRF画像生成技術

Luma AIのNeRF画像生成技術により、ユーザーは高精度な3Dモデルを迅速かつ容易に作成することができます。NeRFは、強力な計算技術であるディープラーニングをベースにしており、正確な3D再構成を可能にします。さらに、この技術では、シーンからより多くのデータを取り込み、3Dモデルのリアルタイムな視覚化を改善することができます。
これにより、ユーザーは従来の3Dスキャンアプリケーションよりも複雑でリアルな3Dモデルを作成することができます。

Luma AIがサポートする出力フォーマット

現在、Luma AIは3つの出力フォーマットに対応しています。
GLTF、OBJ、PLYです。GLTFは、UnityやUnrealなど様々なアプリケーションで動作する3Dモデル用の汎用性の高いファイル形式です。OBJは、メッシュ、テクスチャ、マテリアルをサポートする一般的な3Dファイルフォーマットです。PLYは、スタンフォード大学が開発した3D形状を表現するためのフォーマットです。
Luma AIはこれらのフォーマットをすべてサポートしており、ユーザーは自分のモデルを好きなファイルフォーマットにエクスポートすることができます。

Luma AI使い方とポイント解説

使い方

こちらではPC画面で説明していますが、
アンドロイドも同様の操作で行なえます。

ログイン・アカウント登録

画面右上よりログイン又はアカウント登録をします。

create new

画面右上「create new」を押します。

名前と動画をアップロード

下記画面で名前をつけた後、「select」ボタンで動画をアップロードします。

アップロード完了したら「upload」後完成です。

こちらのリンクより、
参考を見ることができます。

https://captures.lumalabs.ai/embed/peach-handsome-pr-178431?mode=slf&background=%23ffffff&color=%23000000&showTitle=true&loadBg=false&logoPosition=bottom-left&infoPosition=bottom-right&cinematicVideo=undefined&showMenu=false

作成には時間がかかる

アップロードまでの過程は簡単に終わります。
ただし、アップロードした動画を3Dモデル生成まではかなり時間がかかります。
(筆者は20分程かかりました)

最初、エラーと勘違いすると思うので注意しましょう。

撮影は丁寧に

筆者は被写体の周りを360度回って動画を取りました。

その際、上下にぶれたり上手く撮れないと質の悪い3Dとなります。

＊iPhoneアプリの場合、補助があるみたいです。

まとめ

Luma AIは、3Dスキャン技術の限界を押し広げる革新的な3Dキャプチャツールです。NeRF画像生成技術により、スマートフォン1台で高精度な3Dモデルを作成・出力することが可能です。このツールは、3つの出力フォーマットに対応しています。GLTF、OBJ、PLYの3つの出力フォーマットに対応しています。強力な機能と柔軟性を備えたLuma AIは、3Dモデルを素早く簡単に