レッスンへ移動
ae↗独立系
デザインスタジオ
← レッスン一覧へ

3Dガウシアンスプラッティング

多くの視点。
ひとつのガウス場。

視点を生成し、
一致を確かめ、
間にある柔らかな点を理解する。

画像を観察 ↓読了約12分 · 多視点の実験

8つの視点、ひとつの難問。

同じ物を表しているだろうか。

生成画像 · 指定角度であり校正したカメラ姿勢ではありません · 8視点の試験

クリーム色の縁とオレンジの印を持つ、生成した青い陶器のマグ
観察 01

取っ手が飛ぶ。

0°と指定45°を比べると取っ手が右から左へ移ります。角度の指定だけではカメラがその姿勢に達した証拠になりません。

観察 02

オレンジの印を追う。

正面には印がありますが、指定315°ではありません。各画像の美しさだけでなく幾何学的な確認が必要です。

実験の状態

画像は生成済み、学習は未検証。

8枚は整合性を調べる小さな試験です。カメラ校正、SfM再構成、Houdiniの学習は行っていません。

柔らかな点の場。

周回、投影、重ね合わせ。

手続き型の学習モデル · 生成画像からの再構成ではありません

6,000点0°
ドラッグで周回 · 矢印で回転 · HOMEでリセット
手続き型モデル / 画像への最適化なし
03 / 柔らかな重なり

奥行き順に並べた半透明の投影が画像になります。

3Dの中心 + 共分散 + 不透明度 + 色 → 画像

考え方 / 見た目には一致が必要

メッシュではなく、
証拠の、 場。

ガウスは中心、倍率、向き、色を持つ半透明の体積です。多数をカメラへ投影し、重ねることで三角形のメッシュなしで写真の見た目を再現できます。

値を学ぶには同じシーンを一致して表す画像が必要です。生成した未知の面は仮説なので、まずカメラの位置合わせを確認します。

01 / 画像の試験を設計

覚えられる特徴を与える。

つやのない物、明確な輪郭、非対称の細部から始めます。青い胴、クリームの縁、D形の取っ手、ひとつの印で同一性、回転、隠れを観察します。特徴のない球では難しくなります。

ひとつの基準画像をすべての角度に渡し、物が毎回変わらないようにします。背景、カメラの高さと距離、光を指定し、プロンプトと出力を保存します。

ひとつの基準 + 指定したカメラの変更
同じ形 + 素材 + 光 + 構図
Rephotograph the exact same mug in the master image.
Camera azimuth: [angle] degrees; elevation: 20 degrees.
Only the camera moves. Preserve the rim and handle geometry.
Do not relocate the orange mark to keep it visible.
Keep subject scale, background and diffuse lighting fixed.
One view. No collage or labels.

試してみよう: 画像を切り替え、ガイドで構図と隠れる細部を比較します。角度は推定か既知の形で確認するまで未検証として扱います。

02 / カメラを一致させる

学習より先に対応づけ。

SfMは重なる画像の特徴を対応させ、カメラ姿勢と疎なシーンを推定します。学習には姿勢付き画像が必要で、角度名付きの画像フォルダーだけでは校正されません。

ひとつの3D特徴、互いに一致する観察。

実写では物と光を固定し、複数の高さから重なる視点で回り込みます。ピント、露出、縁と取っ手の穴の範囲を確認し、物を変えずに説明できるカメラ列にします。

生成画像では登録できたカメラ数、軌道、疎な点とマグの一致を先に確認します。位置合わせが失敗したら学習回数では直せません。密な実写や、カメラ付きの既知3D描画を基準にします。

試してみよう: 特徴の対応を妨げる違いを3つ挙げ、美しさと登録の成功を分けて記録しましょう。

03 / 体積から投影へ

点が楕円になる。

各ガウスの3D中心と倍率の違う3軸から共分散行列をつくり、カメラで2D楕円へ投影します。長い軸も別の方向からは短く見えます。

3Dの軸 + 倍率2Dの共分散
Σ = R × diag(scale²) × Rᵀ
投影したΣ = J × Σ × Jᵀ

既知のマグ表面をサンプルし、平行投影を使います。接線と法線で楕円を決め、遠近投影では局所的なヤコビアンを使います。しくみの説明用で、画像からマグを学んだモデルではありません。

試してみよう: 「楕円」で90°へ回り、カメラを上げます。細くなる楕円と広がる楕円を見ましょう。

04 / 証拠を重ねる

柔らかさは有効、過剰なら細部を隠す。

ガウスの中心で強く、距離で不透明度を下げます。奥行き順で合成し、デモでは遠くから近くへ放射状グラデーションで近似します。

半径rの不透明度 = α × exp(−r² / 2)

小さい投影には隙間、大きい投影には縁や印のぼけが出ます。点を増やすと範囲を埋めますが計算が増えます。本来の学習は位置、色、倍率、不透明度を変えて入力との差を減らします。

試してみよう: 「スプラット」で400点、0.5倍から始め、別々に増やします。滑らかさと輪郭の正確さを見ましょう。

05 / ノートパソコンで検証

小さな実行を先に確認。

位置合わせ済みの中解像度画像と短い試験から始めます。ML Train GSplatsを備えたHoudiniで姿勢付きデータ、初期化を選び学習します。未学習の視点、点数、損失を確認し、PLYやUSDを戻して検証します。

メモリーは解像度、画像キャッシュ、点数で変わります。縮小と少ないキャッシュ、点数上限から始め、GPU、解像度、カメラ数、ステップ、時間、最大メモリーを記録します。他機種の結果は自分の互換性を保証しません。

この実験はApple M4 Pro上で画像生成とブラウザー描画を行い、Houdiniや学習環境は実行していません。選ぶ学習器の要件を確認してください。CUDA専用の処理はApple GPUを直接使えません。

試してみよう: カメラ登録 → 試験学習 → 未学習視点の一致 → 書き出しの再読込の各段階で合否条件を記録します。失敗を確かめてから負荷を増やしましょう。

06 / 再走査せずに編集

変えたものを明示する。

中心を動かすときは向きと共分散も変え、投影が新しい形に合うようにします。このねじりは位置、接線、法線を一緒に回します。

光は既知の法線で色を乗算する説明用です。一般の学習済み点群は焼き込んだ光を含む見た目を保存し、完全な素材や法線は持ちません。再照明には追加情報や適した表現が必要です。

試してみよう: 「編集」で変形し、周回と光を試します。JSONで中心、軸、倍率を確認しましょう。メタデータは手続き型の学習用モデルと明記しています。

実践 / ふたつの入力、ひとつの試験

実験はそのまま。
一致を、 場。

実写の周回と生成画像を同じ位置合わせと未学習視点で比べます。取っ手、縁、印を保つのはどちらでしょう。

画質、カメラ登録、再構成の質を別々に報告します。成功した再構成も、入力が失敗した理由の説明も有効な結果です。

画像をもう一度見る ↑
自分でつくる:動くサンプル +

オフラインHTMLに8枚、ガウスモデル、Canvas描画、操作を収録。ブラウザーで開いて編集でき、インストールやクラウドのアカウントは不要です。

オフラインサンプルをダウンロード ↓

個別のソース: 手続き型ガウスモデル · 描画と操作 · 試験の記録とプロンプト.

もっと試してみよう次の発見:液体の世界 ↗