Wesloo
すべてのトピックトピック

VRとAR

MR パススルー 仕組みと映像処理の基本構造

要点

MRのパススルー技術は、ヘッドセット外部に備えたカメラで現実環境を撮影し、そのデジタル映像へ仮想オブジェクトを合成して内部ディスプレイに表示する仕組みです。光を透過させる光学ARとは異なり、画素単位で合成処理を行うことで、完全な遮蔽表現(オクルージョン)やVR空間との即時切り替えを可能にしています。

ポイント

  • 外付けカメラのライブ映像を内部画面に電子投影するビデオシースルー方式を採用
  • 2基のカメラを用いたステレオスコピック撮影で両眼視差と空間の奥行きを再現
  • 深度センサーと空間マッピングにより現実物体の前後関係(オクルージョン)を計算
  • 物理的な視野を遮断したまま周囲の安全確認と仮想情報の重ね合わせを両立

ヘッドマウントディスプレイにおいて現実空間と仮想空間を融合させるMR パススルー 仕組みの基盤は、ビデオシースルー(Video Passthrough)と呼ばれる映像処理アーキテクチャにあります。透明ガラス越しに現実光を見る光学シースルー型メガネとは異なり、密閉型バイザーの外側に配置されたイメージセンサーが実世界を撮影し、画像処理チップが幾何学的補正とCG合成を施したうえでパネルに投影します。この方式の特性は、vr ar 違いとは?特徴・対応機器・活用事例の比較でも取り上げられるように、不透明なディスプレイ上で完全な黒や遮蔽を表現できる点にあります。

MR パススルー 仕組みの基本処理フロー

パススルーシステムが外景を取り込んでから装着者の網膜へ届く映像を生成するまでには、極めて短い時間枠の中で複数のハードウェアとアルゴリズムが連動します。一連のパイプラインは以下のステップで実行されます。

  1. 外界の光学走査:筐体前面や側面に固定された高解像度RGBカメラが環境光を取り込み、デジタルフレームとして記録します。
  2. 幾何学的歪み補正:カメラレンズ固有の広角歪曲収差をシェーダー処理で補正し、幾何学的に整った平面映像へ変換します。
  3. 視差・パースペクティブの再投影:外付けカメラの物理位置と人間の眼球位置(瞳孔)の間にある数センチメートルのズレを解消するため、深度情報を基に視点を眼球中心へ補正(リプロジェクション)します。
  4. 空間トラッキングとの同期:VR インサイドアウト 仕組みと自己位置推定の技術を利用して頭部の微小な移動量を計算し、映像のブレを防ぎます。
  5. デジタルアセットの重畳と表示:実世界映像の深度マップに合わせて仮想オブジェクトをレンダリングし、内部ディスプレイへ極低遅延で転送します。

ビデオシースルーと光学シースルーの構造的違い

現実世界にデジタル情報を付加する手法には、カメラ映像を介する「ビデオシースルー」と、ハーフミラー等で光を直接通す「光学シースルー」の2大分類が存在します。パススルーMRは前者に該当し、光学的な制約をデジタル処理の柔軟性によって克服するアプローチを採っています。

比較項目ビデオシースルー(パススルーMR)光学シースルー(ARグラス)
現実の視認方法カメラ撮影による電子映像ディスプレイ透明レンズ越しの直接透過光
視野角(FoV)広角(90度〜110度前後が一般的)比較的狭小(30度〜50度前後)
黒色・遮蔽の表現画素を消灯または上書きできるため完全光を加算するため黒が透けやすい
遅延の影響カメラ露出から表示までの処理遅延が存在光速で届くため現実側の遅延は皆無
装着者の孤立度高精細映像により没入VRへ瞬時に切替可能周囲が常に見えているため遮断不可

ステレオスコピック撮影と視差の補正技術

初期のVR端末に搭載されていたパススルー機能は、安全エリア(ガーディアン)を設定するための単眼・モノクロ映像が主体でした。これに対して近年の複合現実デバイスでは、左右2基のカメラから独立した映像ストリームを取得するステレオスコピック方式が標準化されています。

人間は左右の眼球が捉える像の僅かなズレ(両眼視差)を手がかりに、物体の立体感や距離感を脳内で構築します。ステレオカメラシステムはこの視差を模倣し、左右それぞれの目に適した画角を提示することで、机の角までの距離や手元のツールの位置を正確に知覚させます。映像のジッター(小刻みな揺れ)を抑え、3Dオブジェクトが物理空間に実在しているかのように安定させるには、この視差計算の精度が決定打となります。

オクルージョンを成立させる深度測定の役割

デジタルオブジェクトを物理世界へ違和感なく溶け込ませるためには、前後関係の正しい整序(オクルージョン)が欠かせません。現実の手が仮想キャラクターの手前に来たとき、手が仮想物体を覆い隠さなければ、脳は強い知覚的矛盾を覚えます。

これを解決するため、パススルーシステムは飛行時間計測(ToF)センサーや構造化光センサー、ステレオマッチングアルゴリズムを併用して実空間の3次元メッシュ(深度マップ)をミリ秒単位で生成します。描画パイプラインは、この深度マップと仮想アセットのZバッファ(奥行き値)を画素ごとに比較照合し、手前にある物理要素だけを残して背後の仮想ポリゴンを不可視化します。この演算によって、現実のテーブルの下に仮想のボールが転がり込むような物理的相互作用が成立します。

パススルー技術が向き合う工学的制約

実空間をカメラ映像で代行するビデオパススルー方式には、特有の技術的ハードルが複数横たわっています。

  • モーション・トゥ・フォトン遅延:光子がカメラセンサーに入射してから画面に再投影されるまでの遅延時間が10ミリ秒を超えると、頭部運動と視覚情報が乖離し、サイバー酔いやふらつきを誘発します。
  • 動的ワーピング歪み:至近距離に手をかざした際、カメラ位置と眼球位置の視差をソフトウェアで無理に補正しようとすると、手の周囲の空間がぐにゃりと歪むアーティファクトが発生します。
  • センサーのダイナミックレンジ:人間の眼球は極めて明暗差の激しい環境にも瞬時に順応しますが、カメラセンサーは白飛びや黒潰れを起こしやすく、室内外の明暗差への適応に限界があります。

ハードウェアメーカーは専用の画像処理コプロセッサを組み込み、ピクセル単位での視差歪み除去と超低遅延転送を並列実行することで、現実光との知覚的ギャップを極限まで縮小させています。

関連ページ

  • VR 触覚フィードバックの仕組み|振動・力覚・超音波の違い

    VRの触覚フィードバックは、皮膚に振動を当てる振動触覚、手の動きに抵抗を返す力覚提示、空中に音波を集束させる超音波方式の3つに分かれる。触覚は受容体が全身に散らばり圧力・振動・温度で種類が分かれるため、一つの機器で全てを再現できず、コントローラー、触覚スーツ、力覚グローブが用途別に併用される。

  • VRモーショントゥフォトンレイテンシーとは?仕組みと目標値

    VR モーショントゥフォトン レイテンシーとは、ユーザーが頭を動かした瞬間から、その動きを反映した映像がHMDの画面に現れるまでの時間差である。1か所の遅れではなく、センサー計測、データ転送、アプリ処理、描画、表示という各段階の遅れの合計になる。20msを超えると体の感覚と映像が食い違い、VR酔いが起きやすくなる。

  • AR SLAMとは?仕組みと活用例を解説

    AR SLAMとは、カメラやセンサーから得た情報で周囲の地図を作りながら、同時に自分がその地図のどこにいるかを推定する技術だ。推定誤差はループ閉じ込みで補正し、仮想物体を現実の位置に固定する土台として、屋内ナビや遠隔支援、製造、医療などで使われている。

  • vr 空間オーディオ 仕組みと音響レンダリング技術

    VRにおける空間オーディオは、左右の耳に届く音の時間差や音量差、耳介による周波数変化をデジタル処理し、360度の音像定位をヘッドホン上で再現する技術です。ヘッドマウントディスプレイのトラッキングセンサーと同期して音源の相対座標を再計算し、現実世界と同等の音響反射や遮蔽をリアルタイムで再現します。

  • ARグラス 光導波路 仕組みと全反射の基礎構造

    ARグラスの光導波路(ウェーブガイド)は、フレーム側面に配置された超小型プロジェクターの映像光を、透明基板内部の全反射を利用して使用者の瞳まで導く光学コンバイナ技術です。現実の視野を遮ることなくデジタル画像を重ね合わせることが可能であり、従来の厚みのあるレンズ光学系に比べて装置の大幅な薄型化と日常眼鏡に近い外観を実現します。

  • フォービエイテッドレンダリング 仕組みとVR描画の最適化

    人間の網膜中心にある中心窩の視覚特性を利用し、注視点のみを高精細に、周辺部を低解像度で描画する計算負荷削減手法です。視線追跡センサーと連動させる動的方式と、画面中央を基準に固定処理する固定方式が存在します。画面全体の計算量を抑えることでGPUの過熱や消費電力を抑制し、高フレームレートの維持を可能にします。

このページの作成方法

執筆の前に、下記の情報源でテーマを調査しました。その後、自動の品質チェックを通過しています。

このページの誤りを報告する