VRモーショントゥフォトンレイテンシーとは?仕組みと目標値
要点
VR モーショントゥフォトン レイテンシーとは、ユーザーが頭を動かした瞬間から、その動きを反映した映像がHMDの画面に現れるまでの時間差である。1か所の遅れではなく、センサー計測、データ転送、アプリ処理、描画、表示という各段階の遅れの合計になる。20msを超えると体の感覚と映像が食い違い、VR酔いが起きやすくなる。
ポイント
- MTP遅延はエンドツーエンド遅延とも呼ばれ、動きの発生時刻と発光時刻の差で定義される
- 快適さの目安はARで5ms未満、VRで10ms未満。20msを超えると空間認識の乱れやめまいが出る
- IMUは約1000Hzで動きを捉えるが、カメラは30〜90Hzにとどまり追跡方式が遅延量を左右する
- 予測と再投影は遅延を消すのではなく、見え方を合わせて知覚から隠す技術である
- クラウドレンダリングはネットワーク伝送分が加わるため、サーバ性能では埋められない遅延が残る
VR モーショントゥフォトン レイテンシーは、頭を動かした瞬間から、その動きを反映した映像がHMDの画面に現れるまでの時間差を指す。MTP遅延、エンドツーエンド遅延とも呼ばれる。ひとつの部品が生む遅れではなく、計測、転送、アプリ処理、描画、表示という各段階で発生する小さな遅れの合計である。
見るべき時点はふたつだけだ。動きが起きた時刻と、その結果の映像がユーザーの目に届いた時刻である。この差がそのまま、体の動きと視覚情報のずれになる。
VR モーショントゥフォトン レイテンシーは何を測る指標か
HMDの体験を決める仕様は、装着感に関わるものと没入感に関わるものに分けられる。重さ、角解像度、コントラスト、IPDの対応範囲は前者に入る。視野角、MTP遅延、ワールドロッキング、HDR、アクティブ調光は後者に属する。MTP遅延は没入感の側の指標であり、数値の大小が「そこに体がある」という感覚の有無を左右する。
遅延が大きいと、三半規管が感じ取る動きと目に入る映像が食い違う。この不一致が空間認識の乱れやめまいを招き、VR酔いとして現れる。低遅延は酔いを防ぐだけでなく、ビデオシースルーの見え方やホログラムの安定性も改善する。
遅延はパイプラインのどこで積み上がるか
追跡センサーが動きを検出し、そのデータがアプリに届き、描画パイプラインを通り、最後にパネルが発光する。各段階がそれぞれ少しずつ時間を食う。
| 工程 | やっていること | 特性 |
|---|---|---|
| センサー計測 | IMUやカメラが頭の動きを捉える | IMUは約1000Hz、カメラは30〜90Hz |
| データ転送 | 追跡データをアプリへ渡す | 配線やバスの伝送時間 |
| アプリ処理 | 姿勢の予測とシーン更新 | エンジンの実装に依存 |
| 描画 | GPUが左右それぞれの映像を生成 | 解像度とシーンの複雑さに依存 |
| 表示 | パネルの走査と発光 | リフレッシュレートに依存 |
| 補正 | 再投影、歪み補正 | 遅延を隠す方向に働く |
20ms未満に収めるには、各段階で1ミリ秒ずつでも詰めていく姿勢が欠かせない。ここで効いてくるのが追跡方式である。VR インサイドアウトのようにHMD内蔵カメラで自己位置を推定する構成では、カメラのフレームレートと画像処理の遅れがそのままパイプラインに乗る。
目標値はVRとARでなぜ違うのか
許容値は恣意的に決まった数字ではなく、人の知覚の限界から導かれる。ARでは現実の景色に映像を重ねるため、ずれが目立ちやすい。快適な体験にはARで5ms未満、VRで10ms未満が目安とされる。VRでも20msを超えると、空間認識の乱れやめまいが出始める。
この差は用途の違いを反映している。ARは視界の大部分が現実で、わずかな重なりがずれるだけで不自然になる。VRは視界全体が映像なので、多少の遅れは背景の動きに紛れやすい。それでも上限は厳しく、体を速く動かすほど要求は厳しくなる。
遅延を減らす技術と、遅延を隠す技術
ゼロにはできないという前提から、設計手法が生まれた。
- 予測: 今の速度と加速度から少し先の姿勢を推定し、その姿勢でフレームを描く。予測が当たる範囲では誤差が見えない。
- 再投影と歪み補正: 描画済みのフレームを最新の姿勢に合わせてずらす。描き直すより計算が軽い。
- アイトラッキングとフォービエイテッドレンダリング: 視線の先だけを高解像度で描く。視線が動いてから高精細な像が出るまでにも低遅延が要る。
フォービエイテッドレンダリングは描画負荷を下げる代わりに、眼球運動そのものの遅延を新たな制約として持ち込む。サッケードと呼ばれる急速な眼球運動の間に描き終える必要がある。
測定はなぜ外部装置で行うのか
ソフトウェア自身に計測値を報告させるやり方は信用できない。計測のための処理が余分な遅延を上乗せし、機器のふるまいまで変えてしまうからだ。そこで、物理的な動きと発光の両方を、機器に触れずに外から観測する方式が定番になる。
代表的な手法では、ロボットがHMDを軸ごとに回転させ、コンテンツの動きとロボットの動きのプロファイルを突き合わせて、予測ありの条件での遅延を求める。予測が効かない場面も別に測る。全軸を静止させたあと、1軸だけを高い速度と加速度で回す。このときの遅延は予測なしの値になる。AR/VR/MRコンテンツ用のマーカー配置と実際のロボット姿勢を比較する計測装置が使われる。
パススルーとクラウドレンダリングが抱える制約
ビデオシースルーでは、カメラで撮った外界の映像を処理して表示するため、追跡から表示までの経路がさらに長くなる。MR パススルーの見え方やホログラムの安定性は、この経路の遅延に直接左右される。
クラウドレンダリングはもっと厳しい。映像を生成する計算をサーバ側に置くと、ネットワーク伝送の時間が必ず加わる。サーバの性能をいくら上げても、伝送で生じる遅延は消えない。生理的な許容範囲を超えやすく、これが没入型アプリでのクラウド描画を難しくしている。
研究用途では検証が前提になる
市販のVR機器を実験に使う場合、その特性を先に確かめる必要がある。動きと表示のずれは、知覚や運動制御を扱う研究の結果そのものに影響する。MTP遅延は、機器を科学の道具として使えるかどうかを判断する材料になる。
よくある質問
MTP遅延はどのくらいなら問題ない?
快適さの目安はARで5ms未満、VRで10ms未満とされる。20msを超えると体の感覚と映像のずれが目立ち、空間認識の乱れやめまいが出やすくなる。
なぜソフトウェアの自己申告では遅延を測れない?
計測処理そのものが遅延を増やし、対象の挙動を変えてしまうため。物理的な動きと発光の両方を外から観測するハードウェア方式が標準になる。
予測を使えば遅延は消える?
消えない。現在の速度と加速度から未来の姿勢を外挿して見え方を合わせているだけで、予測が外れる急な動きには効かない。予測なしの遅延は別に測定される。
フレームレートが高ければ遅延は小さい?
そうとは限らない。追跡データが遅れていたり処理に詰まりがあったりすると、描画の回数が多くても体の感覚と映像は食い違う。
クラウドレンダリングでMTP遅延は減らせる?
むしろ増えやすい。映像生成をサーバに置くとネットワーク伝送の時間が加わり、サーバ性能では埋められない遅延が残る。
関連ページ
- VR 触覚フィードバックの仕組み|振動・力覚・超音波の違い
VRの触覚フィードバックは、皮膚に振動を当てる振動触覚、手の動きに抵抗を返す力覚提示、空中に音波を集束させる超音波方式の3つに分かれる。触覚は受容体が全身に散らばり圧力・振動・温度で種類が分かれるため、一つの機器で全てを再現できず、コントローラー、触覚スーツ、力覚グローブが用途別に併用される。
- AR SLAMとは?仕組みと活用例を解説
AR SLAMとは、カメラやセンサーから得た情報で周囲の地図を作りながら、同時に自分がその地図のどこにいるかを推定する技術だ。推定誤差はループ閉じ込みで補正し、仮想物体を現実の位置に固定する土台として、屋内ナビや遠隔支援、製造、医療などで使われている。
- vr 空間オーディオ 仕組みと音響レンダリング技術
VRにおける空間オーディオは、左右の耳に届く音の時間差や音量差、耳介による周波数変化をデジタル処理し、360度の音像定位をヘッドホン上で再現する技術です。ヘッドマウントディスプレイのトラッキングセンサーと同期して音源の相対座標を再計算し、現実世界と同等の音響反射や遮蔽をリアルタイムで再現します。
- ARグラス 光導波路 仕組みと全反射の基礎構造
ARグラスの光導波路(ウェーブガイド)は、フレーム側面に配置された超小型プロジェクターの映像光を、透明基板内部の全反射を利用して使用者の瞳まで導く光学コンバイナ技術です。現実の視野を遮ることなくデジタル画像を重ね合わせることが可能であり、従来の厚みのあるレンズ光学系に比べて装置の大幅な薄型化と日常眼鏡に近い外観を実現します。
- フォービエイテッドレンダリング 仕組みとVR描画の最適化
人間の網膜中心にある中心窩の視覚特性を利用し、注視点のみを高精細に、周辺部を低解像度で描画する計算負荷削減手法です。視線追跡センサーと連動させる動的方式と、画面中央を基準に固定処理する固定方式が存在します。画面全体の計算量を抑えることでGPUの過熱や消費電力を抑制し、高フレームレートの維持を可能にします。
- MR パススルー 仕組みと映像処理の基本構造
MRのパススルー技術は、ヘッドセット外部に備えたカメラで現実環境を撮影し、そのデジタル映像へ仮想オブジェクトを合成して内部ディスプレイに表示する仕組みです。光を透過させる光学ARとは異なり、画素単位で合成処理を行うことで、完全な遮蔽表現(オクルージョン)やVR空間との即時切り替えを可能にしています。
このページの作成方法
執筆の前に、下記の情報源でテーマを調査しました。その後、自動の品質チェックを通過しています。