Owlchemy Labs とともに見る空間コンピューティングの展望

空間コンピューティングは新時代を迎えており、開発者は堅牢なエクステンデッドリアリティ (XR) ツールと柔軟なワークフローを活用し、インタラクションの追加、グラフィックスのスケール、プロトタイプの作成、エディター内でのテストを行えるようになりました。Unity は 2024 Unity ゲーミングレポートで XR ゲームの需要が高まると予測しており、貢献したスタジオの多くもこの予測に同意しています。

このたび、Unity のシニアアドボケイトである Antonia Forster が、Owlchemy Labs の CEO である Andrew Eiche 氏と対談し、空間コンピューティングの未来についての彼の見解と、Apple Vision Pro 向けの開発に関する実践的なヒントについてお話を聞いてきました。

Antonia Forster: Andrew さん、本日は貴重なお時間をいただきありがとうございます。まずは今後の展望についてお話しましょう。VR および空間コンピューティングの未来はどのようなものになると思いますか? 

Andrew Eiche氏: 今後起こることとして、まず XR デバイスが一般的な空間コンピューティング環境としてドメイン固有のタスクに使用されることが挙げられます。Apple Vision Pro と Meta のオペレーティングシステムの変更がその先導役を担っています。我々は、VR でジェネリックなワークロードと極めて具体的なワークロードを行う方法に関するパラダイムを解決しようとしています。 

実際に XR で作業を行うとしたら、それはどのようなものになるのでしょうか? 我々は、既存のタスクを空間環境における同一のパラダイムに移行しようとしています。このメディアが早く開発者の間で浸透し、その幅広さや奥深さが理解されるようになることを期待しています。 

このテクノロジーの有用性と直感性について理解する上で、これは非常に重要なことです。我々の業界では、プラットフォームはこれらの指標に沿って分類され、最も採用されやすいプラットフォームは、有用性と直感性が高い象限に位置しています。VR に関しても、利便性と直感性の高いものとして、スマホや PC、スマートテレビと同じ象限の方向に進ませていきたいと思っています。

未来を見据えて、空間コンピューティングについて考えることは、VR の利便性を高めるのに役立ちますが、その実現可能性については改善の余地があります。どのようにこれを行うべきでしょうか? プレイヤーに最も注目されているプラットフォームであるモバイルに合わせて、主要な入力ベクトルを変更するのです。そこからは、ハンドトラッキングの実装による摩擦係数の除去、ヘッドセットの軽量化、そして光学系の改善に注力しなくてはなりません。

先程テクノロジーの進歩について言及していましたが、向こう数年間で、他のどのような技術トレンドが XR に影響を与えそうでしょうか? 

ガウススプラッティングも素晴らしいですが、次のステップは、より洗練されたキャプチャとアニメーションの開発だと思います。三次元キャプチャについては、空間とカメラを覆ったりライトフィールドを使えば良いという固定観念のせいで、本来解決したかった問題を解決できませんでした。実際は透明なガウスなど、より最適な方法がありました。今後は、この分野への注力と、最適化の方法についての模索が行われることが予想されます。

また、AI の影響も受けることになるだろうと考えています。私が待ち望んでいる興味深いユースケースのひとつは、フレーム全体ではなく一部だけでのレンダリングが可能になることです。フレームの 30% をレンダリングして、その結果をテンソル処理ユニット (TPU)に渡し、TPU が前後のすべてのデータを元に残りの部分を生成してくれるとしたらどうでしょうか? 突然、ヘッドセットのグラフィックチップが PC 並みの性能を持つようになるのです。NVIDIA RTX™ のリフレクションはまさにこれと同じ仕組みを利用しており、この手法がすでに採用されつつあることが分かります。 

また、AI がウェイトペイントを補完したり、生成 AI がトゥイーン作業においてベストフィットアルゴリズムに取って代わる可能性もあります。ベストフィットアルゴリズムには構築に使う要素があり、もし最適なフィットが要素の中間にある場合、生成 AI を使ってスライダーを中間に移動させることができれば、興味深く、有用なだけでなく、アーティスト側での制御も可能になります。トゥイーンに時間をかけず、キーポーズに集中したいアニメーターには最適でしょう。AI の力でそれを終わらせ、アニメーターがクリーンアップを行うことができます。

素晴らしい洞察をありがとうございます! XR 分野のトレンドを踏まえ、この空間コンピューティングの時代に参入する開発者へのアドバイスをお願いします。

インタラクションデザインの観点から言えば、丸い穴に四角い釘をはめ込もうとするのではなく、対象との相互作用の方法を分析して理解する必要があります。開発者にとって、空間コンピューティングの世界に飛び込み、深く入り込むことは魅力的ですが、新人開発者には、空間コンピューティングにゆっくり取り組むことをおすすめします。時間をかけてスキルを習得していきましょう。 

例えば、『Job Simulator』を移植する際は、オペレーティングシステムレベルのインタラクションの適切なタイミングを考えることから始めました。Apple Vision Pro 版で SwiftUI ウィンドウを実装する際は、ピンチの使用タイミングについて議論しました。Apple のガイドラインでは、使用タイミングや使用目的について非常に具体的に説明されていたので、それに徹底的に従うようにしました。 

ウィンドウを操作していないとき、プレイヤーは 3D オブジェクトとのインタラクションを行っています。この時点で 2D モニターに表示されるアプリと同じように考えるのをやめて、現実世界に存在するモノの物理的な製品デザインのように考え始める必要があります。現実世界のオブジェクトデザインの原則に従って、直感的な方法でオブジェクトをデザインしましょう。ユーザーエクスペリエンスを継続的にテストし、本物のユーザーに実際の空間でデバイスを使用してゲームをテストしてもらうことこそが重要であると認識しましょう。この労力は必要不可欠です。

実際に手に持って、他の人にインタラクションを行ってもらいましょう。調整にたくさんの時間を充てることをおすすめします。プラットフォームが違えば、体験も違ってくる可能性があります。スペックが異なることもあるため、柔軟に対応することが大切です。

最後に、VR の特別な点は、探索をどのように行うかというところです。我々のゲームの探索には、机に座り、閉まっている引き出しを開けて中身を漁るアクションがあります。各オブジェクトを手に取り、その動作や相互作用を観察するのは、非常に面白いものです。プレイヤーがこのようなインタラクションを好む重要な理由のひとつは、プレイヤーが物を手に取り、周囲のワールド要素とインタラクトすることで、ワールドについて知ることができるからです。遠くにあるもの、あるいはプレイヤーから切り離されたものとインタラクションさせるわけではありません。

空間コンピューティングのヒントについてもう少し詳しく聞きたいのですが、Apple Vision Pro 向けのゲームの移植や開発を考えている開発者に向けたアドバイスはありますか?  『Job Simulator』の移植に Unity の visionOS 向けサポートを使用した経験はいかがでしたか?

我々は Unity や Apple と密接に協力し、我々の希望やビジョンを実現させるための最善の方法について意見を交わしてきました。『Job Simulator』の Apple Vision Pro への移植はかなり素早くできましたし、iOS での開発と同じように活用しました。時間のかかったことの 1 つとして、本作品を完全没入型のゲームに仕上げることが挙げられます。Unity は、我々が望む出力を Apple のオペレーティングシステムに伝えるための関数を呼び出さなくてはなりませんでした。そうする前は平らなウィンドウが表示され続け、それを閉じるとゲームオーバーになってしまっていました。 

一般的なコンピューティング OS 向けの開発を行っていた我々にとって、完全没入型のゲームの開発において、ゲームからの退出という概念は今までにないものでした。PC 向けのゲーム開発では、プレイヤーが X ボタンでいつでもゲームを閉じられるため、ゲーム終了のメニューは必要ありませんでした。Quest に移植した際は、ゲームの状態は単純に実行されているか、されていないかの 2 通りだけでした。しかし、Apple Vision Pro ではゲームをバックグラウンドで実行できるため、アプリケーション終了の実装方法を模索する必要がありました。

私からのアドバイスは、協力的かつオープンな姿勢でいることです。もしかすると、あなたが直面しているボトルネックの解決方法を知っている人といつか、どこかで出会うかもしれません。これはご自身のみならず、コミュニティ全体にメリットをもたらします。我々は、ディスカッションフォーラムやチケットの発行、そして Unity との対話に非常に積極的に取り組んでいます。これは、コミュニティの他の参加者のためにもなる解決策を見出すのに役立ちます。バグを報告することで、同じような問題に直面している他の開発者と協力する機会を得られました。学習を速めることは間違いないですし、開発を前に進めるのにも役立っています。

インタビューの最後に、コミュニティの皆さんに向けたインスピレーションと洞察をもうひとつ聞かせてください。visionOS の開発について学んだことのうち、次の Apple Vision Pro 向けプロジェクトにも生かせる最も貴重なものは何ですか?

我々のゲームは、長い間、Windows PC と Android という 2 つのエコシステムに存在してきました。他の Apple 製 OS と多くの共通点を持つ visionOS に向けた開発に移行する中で、先入観に頼りすぎたせいで OS への間違った向き合い方をしていた可能性がある点を特定することができました。開発プロセスの改善点に気付くことができたのです。 

留意すべきもうひとつの重要な点としては、FaceTime で自分の画面を共有して、例えばデバックなどで、自分が体験していること他の人に見せることができるという価値が挙げられます。画面上でアプリケーションやコードがどのように動いているのか確認しつつ、自分の視点を完全な形で相手に伝えることができます。他のヘッドセットでこれを実現しづらいのは有名な話ですが、Apple Vision Pro では難なく行えます。これが私からのちょっとしたアドバイスです。

もっと知りたい方へ。新しい 2024 Unity ゲーミングレポート、そして熟練のクリエイターが今年のゲーム開発における最大のトレンドについて議論する動画のプレイリスト を参照してください。

Unity の Apple Vision Pro 向けサポートを利用する準備ができた方は、AR/VR/XR ディスカッションフォーラムで Apple Vision Pro 向けの開発を行う他の開発者からヒントを得たり、フィードバックを共有したりできます。