Search Unity

Varjo と Volvo が世界初のフォトリアルな MR(複合現実)を活用したデモを発表

, 9月 9, 2019

VR の優れたビジュアルクオリティで知られている工業用 VR/XR のヘッドセットメーカー Varjo が Unity を用いて作った先進的な自動車プロジェクトの舞台裏をご覧ください。

Varjo のチームは、複合現実(MR)の世界で最も革新的なプロジェクトに一部関与しています。チームは以前にも「フォトグラメトリを活用して VR で現実世界の環境をシミュレート」という記事を寄稿してくれましたが、本記事では Unity と Volvo が連携して、これまでにないような現実とバーチャルの世界を結び付けるデモで新天地を切り開いた例を紹介してくれます。

このプロジェクトを Unite Copenhagen で直接ご体感ください。Volvo および Varjo は、この体験を展示を現地で行うほか、複数のセッションで講演いたします。

  • いかにして Volvo がリアルタイム 3D を取り入れ、自動車業界を揺るがしたのか
  • Varjo の VR-1と XR-1を用いた次世代の VR/MR 体験の作成
  • 将来のモビリティ、スマートカー、自動運転:Volvo の新時代に備える

 

チケットを入手する

フォトリアリスティックな MR を実現する

以下のコンテンツは、Varjo のご厚意により掲載を許可していただいたものです。

複合現実とは、バーチャルのコンテンツと現実世界を融合させることです。これまで、複合現実 (MR) は光学シースルー方式で実現しました。つまり、ユーザーは眼鏡を通して現実の上にデジタルオブジェクトを被せて見ることができます。これは、インフォグラフィックの作成やゲームのプレイには適していますが、現実的なシーンにはほとんど価値を生じません。光学シースルーデバイスでは、現実世界の上に黒または不透明のコンテンツを表示できません。すべてがかすんでホログラフィックに見えます。

Varjo では、この制限を取り除き、フォトリアリスティックで、不透明なコンテンツをレンダリングできるようにしたいと考えていました。つまり、現実のコンテンツとバーチャルのコンテンツの区別がつかないようにしたかったのです。私たちの使命は、ビデオパススルー機能を用いて、フォトリアリスティックな複合現実を実現することでした。ビデオパススルーとは、カメラを使用してリアルタイムで世界をデジタル化し、ユーザーに現実とバーチャルが入り混じった結果を見せることを意味します。

これを実現する前に、まずは人間の目の解像度で現実世界を表示できる VR ヘッドセットが必要でした。そのために、プロのユーザーを対象とした Varjo 初の人間の目レベルの解像度の製品 VR-1 を 2019 年 2 月、市場にリリースしました。

また、Santa Clara で開催された世界最大の AR イベント「Augmented World Expo 2019」では、ビデオパススルーで実現できるマジックを垣間見ることができました。Unity を用いて作成した Volvo との共同デモで、新しいヘッドセット「XR-1 Developer Edition」を初めて公開しました。XR-1 を使用すると、バーチャルコンテンツを現実とシームレスにブレンドし、非常に低いレイテンシと統合されたアイトラッキングを優れた解像度で実現できます。

世界初のフォトリアリスティックな複合現実のデモが作成された方法を以下に示します。

 

この動画は、Varjo XR-1 Developer Edition で撮影された未修正の素材です。XR-1を使用すると、完全な視野内で現実と融合したフォトリアルなバーチャルコンテンツを見ることができます。XR から完全な VR にシームレスに切り替えることもできます。

Volvo と Unity を用いた XR-1 デモの制作

Varjo は、2018 年の前半にビデオパススルー型 MR ヘッドセットの開発に着手しました。また、Varjo と Volvo の共同制作も 2018 年春に開始しました。Volvo は、ヘッドアップディスプレイ、新素材、インフォテインメントシステムの UI など、実際のテストトラックで走行しながら、現実の車内で、未来の車のさまざまな要素をテストできるような XR ヘッドセットの必要性を概説しました。 テストトラックで車を運転するために必要な可読性と低遅延に関する高い要求により、Varjo は製品開発に成功しました。

Unity が VR-1 でどれだけうまく機能しているかを考えると、バーチャルオブジェクトが複合現実でどのように表示されるかを試すのは自然な選択でした。Varjo 製の Varjo プラグインなど、Unity を使うと C++ライブラリと簡単に統合および拡張できることで、プラグインを拡張して複合現実に対応できるようになったのです。VR シーンの空の背景をビデオパススルー信号に置き換えるように定義するだけで、現実の環境でバーチャルオブジェクトをすばやく見ることができました。

チームが顧客と連携しながらパススルーを同時に開発および改善したことにより、緊密な連携と高速なイテレーションが Unity の使いやすさによって可能になりました。1 年後、XR-1 の最初の公開デモでは、Volvo の優れたモデルとフォトリアリスティックな Unity グラフィックスとの組み合わせで弊社の技術の機能を実現させました。

デモでは、光学シースルーではなく、ビデオパススルーの複合現実(MR)の力を示しています。このデモでは、以下のステップを実行します。

1. 迫真のリアリティを体験する

XR-1 ヘッドセットを用いると、あなたの周りの現実世界を見ることができます。現実世界はフロントプレートの高解像度カメラ経由で 10 ミリ秒未満のレイテンシでストリーミングされます。視野全体と 90Hz フレームレートによる高解像度で世界を見るとヘッドセットを装着していない感覚が得られます(つまり、自分の目で現実世界を見ることができる)。あなたは自由に歩き回り現実世界を探索することができるのです。

2. フォトリアリスティックな複合現実を体験する

Volvo XC60 の美しいフォルムが目の前に現れます。様式化した透明な青いワイヤフレームとして最初に出現します。バーチャルカーは、あなたの近くの部屋の実際の床に固定され、ブース内の椅子はバーチャルカーの運転席と一致するように置かれています。視聴者(ユーザー)は実際にあるシートに座ることができ、ワイヤーフレームを通して実際の景色を見ることができます。

さて、車はソリッドモデルに変わり、表面は透明から不透明になります。バーチャルカーは現実世界の床に影を落とし、車の表面を見ると、現実世界が車の表面に反映されていることがわかります。反射は車の実際の場所でセットアップ中に撮影された HDR キューブマップから取得されます。同じキューブマップが環境光ライティングにも使用されます。

ユーザーが不透明な複合現実を見るのはこれが初めてであり、その効果は衝撃的です。しかもフロントガラスを通して現実の世界やあなたの同僚も見ることができます。

どのように実現したのか:車のモデルは Volvo が Varjo に用意しました。ヘッドセットと自動車の解像度が非常に高かったため、可能な限り多くの前処理を行う必要がありました。ライティングは DCC ツールを用いてテクスチャにベイクされ、カスタムシェーダーで増やしました。ベイクされたテクスチャはオクルージョンのみで処理され、シェーディングは依然としてスカイボックスの影響を受けています。

Volvo の Mattias Wilkenmalm 氏がアセットの制作に対処し、優れた成果をもたらすカスタムのカーペイントシェーダーを作成しました。私たちは必要な外観と遷移を得るためにそれらを変更しました。最終的なモデルは、約 700 万のポリゴンで構成され、約 150 個の 4K テクスチャが使われています。

3. バーチャルリアリティと現実をシームレスに切り替える

ユーザーは車の外に出るよう求められます。車の外に出ると、ベニスへの移動が始まります。ユニークな画面遷移とともに現実世界がベニスのバーチャルシーンに移り変わっていき、やがてユーザーを取り囲んでいた現実世界の最後の一片が見えなくなると、ユーザーはベニスの路地の一角に駐車した車のそばにいることに気づきます。車体の表面に映り込むものはベニスの街の風景に変わり、車の影もベニスの路上に落ちています。

しばらくして、バーチャルの世界から現実世界に戻ります。これで、ユーザーはバーチャルカーの回りを歩いて、反射や車の細部に至るまで詳しく見ることができます。これは XR-1 が他のユーザーと引き続き交流し、バーチャル化したい部分のみを選択する機能を提供することを示しています。

どのように実現したのか:視覚的に好ましい遷移を行うために、Volvo の Timotei Ghiurau 氏(バーチャルリアリティ体験や XR リサーチにおけるリーダー)は、アルファカットアウトを適用したワールド空間 3D ノイズを使って車と環境を取り込みました。これはフラグメント内で高速に実行され、すごくクールに見えます。厳しい納期に対処する場合に完璧な組み合わせでした。ノイズ関数は、Unity の Keijiro リポジトリからフェッチできます。

車の反射をスムーズに移すために、ベニスの環境が別のレイヤーに追加され、リアルタイムのリフレクションプローブは最小限のジオメトリのみをレンダリングするようになりました。リフレクションプローブは 30 フレーム/秒でレンダリングされる一方、シーンははるかに高いフレームレートでレンダリングされました。リフレクションプローブで遷移が見えるようにすることで、シーンにより多くの没入感が加わります。


XR-1 は、リアルな現実世界から複合現実へ、さらに完全な VR 環境へとシームレスに切り替え、再び現実に戻る機能を提供する今までに類を見ないヘッドセットであるという事実が非常に印象的なデモを作り出します。周囲の現実が消えてバーチャルなシーンに置き換えられ、その後戻る瞬間に、まるで映画『マトリックス』の世界に入り込んだような感覚が生まれます。

この記事をシェアしてくれた Varjo に感謝いたします。Unite Copenhagen に参加して、Varjo VR-1 および XR-1 Developer Edition を直接ご覧ください。(訳注:イベントは好評のうちに終了いたしました)

返信する

これらの HTML タグや属性を使用できます: <a href=""> <b> <code> <pre>