車内体験の概念を変えるリアルタイム 3D

Unity は、世界最大の自動車用半導体プロバイダーである NXP Semiconductors と協力して、NXP の人気製品 i.MX 8QuadMax アプリケーションプロセッサーで動作するヒューマンマシンインターフェース（HMI）ツールチェインを実証しています。このコラボレーションは、Unity で制作されたゲームを含むリアルタイム 3D 体験を、トリムレベルや価格帯に関係なく量産車に導入するきっかけになりました。

自動車業界に訪れている大きな変化の 1 つが、ダッシュボードのデジタル化です。インストルメントクラスターと情報システムを組み合わせた超大型ストレッチ画面から、拡張現実を搭載したヘッドアップディスプレイ（AR HUD）まで、ヒューマンマシンインターフェース（HMI）システムは、急速に自動車メーカーが激戦を繰り広げる領域になりつつあります。Mercedes-Benz の親会社である Daimler AG で最高デザイン責任者を務める Gorden Wagener 氏は「画面が新たな牽引力となる」と述べて、主戦場がどこにあるのかを示しました。

変化はハードウェアとしての画面だけでなく、そこに表示される内容にも訪れています。ご存知のように、Unity で制作されたゲームの中には、『Cuphead』のように、車内でプレイできるものもあります。スマートフォンで体験できるゲームや最先端のテクノロジーが自動車にも実装されればいいのにと、自動車メーカーに期待する運転手や乗客はますます増えています。しかし自動車を車輪のついたスマートフォンにするというのは、難しい注文です。現在の開発プロセスは複数の製造ツールに細分化されていて、ツールの中には最新のレスポンシブなユーザー体験を創出するには向いていないものも少なくありません。

Unity はすでに、新しい HMI 体験のプロトタイピングと開発におけるプラットフォームとして定評を得ています。事実、今年晴れて公道デビューする HMI を搭載した初の量産車のシステムは、Unity を基盤にしています。

リアルタイム 3D が提供する双方向性は、自動車メーカー（と HMI コンポーネントを搭載した製品を製造している他のメーカー）が Unity を頼りにしている理由の 1 つでしかありません。WYSIWYG（What You See Is What You Get）開発のおかげで、HMI の設計からレビューに至る工程全体で開発期間を短縮し、埋め込まれたターゲット（チップセットなど）に直接デプロイすることができるので、設計とエンジニアリングの間の大きな隔たりが解消されます。

デザイナーとエンジニアは、互いに相手の言いたいことがわかるようになり、設計、プロトタイピング、開発、量産化を包括するエンドツーエンドの HMI グラフィックスツールチェインとして Unity を使用できるので、さまざまな設計要件を満たすために何度も苦労して HMI を作り直す必要はなくなります。Unity の HMI ツールキットの詳細については、こちらを参照してください。

これまで、最先端の HMI 体験は、高価格帯の自動車や高級車を購入できる消費者だけのものでした。そのような世界を、2 億台を超える自動車に展開されている i.MX アプリケーションプロセッサーの製造元である NXP と Unity が連携して変えようとしています。

Unity の HMI ツールチェインを NXP の人気製品 i.MX 8QuadMax アプリケーションプロセッサーに取り入れることで、Unity が実証しようとしているのは、バリュー志向の自動車 OEM メーカーがすべての自社製自動車に没入型 HMI システムを組み込めるようになる可能性です。消費者が、まるでハイエンド車の車内にいるかのように、現実感のある没入型のインターフェースでゲームをプレイしたり、スマートフォンと接続したり、自動車を操作したりできるようになります。

「Unity は、ストレッチ画面でも『普通』の解像度の画面でも同じように機能するように、コンテンツレンダリングエンジン、コンテンツ制作、ツールチェインが最適化されています。この強力なエンジンにより、目を見張るようなディスプレイ体験を実現します。i.MX 8QuadMax のパフォーマンスと、エラー発生時にも機能するディスプレイ保全機能を組み合わせることで、お客様にシームレスで美しく、安全な体験を提供できます」とは、NXP で i.MX 8 シリーズのアプリケーションプロセッサー担当ディレクターを務める Kyle Fox 氏の言葉です。

このコラボレーションの将来性を CES 2020 で披露するために、Unity は、自動車のユーザー体験（UX）の設計で業界をリードするコンサルタント企業 icon incar と協力して、NXP の i.MX 8QuadMax アプリケーションプロセッサーで動作する HMI 体験を構築しました。以下は、そのプロジェクトの詳細です。

このデモは、アスペクト比 32:9 の 49 インチ（約 1.24m）ウルトラワイドスクリーンでのインパクトのある没入型の体験に対応するように設計されています。デモを構成する 3 つの重要なコンポーネントは、1）デジタルインストルメントクラスター、3D マッピングによるナビゲーション、車の状態、メディアプレイヤーから成る HMI システム、2）あえて助手席側に配置されたゲーム、3）ビジュアルエフェクト（VFX）体験です。

icon incar が HMI システムのユーザーインターフェース（UI）と UX を設計してインタラクションをプログラミングする一方で、Unity は 3D エンジンを移植し、ゲームや VFX 体験を HMI に統合しました。すべてのインタラクションはタッチパッドとして使用するタブレットや一般的なゲームコントローラーを通じて実行されますが、音声操作やジェスチャー操作に対応するよう簡単に設定できます。icon incar と Unity は両社とも、さまざまな HMI 体験が NXP チップセット上で真価を発揮するようにプロジェクトを最適化しました。

このデモの制作には、最高品質のグラフィックス、パフォーマンス、スケーラビリティを数多くのデバイスと幅広いオーディエンスに届けられるように最適化された Unity のユニバーサルレンダーパイプラインを使用しています。

HMI の UX は複数のタイルで構成されており、タイルが動的に更新されると、ユーザーの環境設定や表示されているコンテンツに基づいて柔軟にパーソナライズされた体験を提供します。たとえば、ゲームや VFX 体験が画面に表示されるときは、より大きな画面で楽しめるように HMI のタイル数が 3 枚から 2 枚に変化します。

ユーザーは複数のドライブモード（Comfort または Sport）から選択できます。Sport モードでは、インストルメントクラスターでスピードと出力が目立つようになり、自動車のビジュアライゼーションは見下ろしビューから、よりスポーティなクローズアップビューに切り替わります。また、HMI には、時刻に基づいて動的に調整し、昼間の運転と夜間の運転に対応するライトモードとダークモードもあります。

「Unity は、ターゲットシステム用のインタラクティブな HMI を開発し、それを展開する前に時間をかけてほぼ最終版の出力と実際のパフォーマンスを体験できるようにすることで、デザイナーに大きな利点をもたらします」（icon incar 創業者 Florian Gulden 氏）

ナビゲーション機能もまた、現時点で運転手がスマートフォンでできることを越えています。リアルタイムで視点を変更して、現実世界と同じように見方を変えることができます。距離感をつかむために鳥瞰図を使用したり、ズームインして車体の前方、後方、横からの詳細ビューを表示したりできます。より没入感のある体験を演出するために、ナビゲーションモードでは建物の影も自動的に調整されます。

Unity で HMI を構築することで、ゲームを馴染みのあるプラットフォームを越えて新たに車内環境に拡張する道が開かれます。Tesla の CEO を務める Elon Musk 氏は、自社の電気自動車（EV）ですでにそれを実現しています。

現在は路上での安全を確保するため、ゲームは、お子様の送迎で早く到着したときや EV の充電中など、運転していないとき向けに設計されています。自動運転車の時代が近くなり、運転手がハンドル操作から解放されると、このような体験が注目を浴びるようになるでしょう。自動車はメディアとエンターテインメントの新しいハブへと進化し、移動中に魅力的なコンテンツを提供する役割を自動車メーカーが担うようになります。

Unity のボートレースゲーム『Boat Attack』をこのチップセットに移植するために、ゲームを NXP System-on-Chip（SoC）上で快適にプレイできるようかなり最適化を行いました。

以下のような最適化を行いました。

• レーシングボートを除くシーン内のすべてのオブジェクトに静的ライトを使用するほか、シェーダーには簡易版のライティングを使用しました
• 岩やコケなど島の環境のアセットについては、シェーダーに頼らずライティングをテクスチャーにベイクしました
• 島の環境に使用されている一部の複雑なオブジェクト（樹木、地形、岩など）では、アセットストアで公開されている Terrain To Mesh を利用するなどして頂点数やポリゴン数を減らしました
• 一部のオブジェクトには詳細レベル（LOD）を使用しました
• ゲームの水のシェーダーをより軽量なバージョン（uWater - Fast Water Shader アセット）と交換し、深さベースの透明度に対応するよう変更しました

卓越したユーザー体験を提供するには、ユーザーの期待を上回るグラフィックス機能が必要です。今回のデモでは、Visual Effect Graph と 3D Visualizer Spectrum Vu Meter アセットを使用して、音楽とシンクロするバラエティ豊かな楽しい体験を創出しました。

HMI に関する Unity のもう 1 つのメリットは、アセットストアを通じて数千もの無料および安価なアセットを利用できることです。プロトタイピングや制作では、Unity の 600 万人の強力な開発者コミュニティが寄与している高品質のアートやツールで HMI 開発にかかる貴重な時間やリソースを節約できます。以下は、今回のプロジェクトで使用したアセットです。

• uWater - Fast Water Shader
• 3D Visualizer Spectrum Vu Meter
• Terrain To Mesh
• TouchScript

---

今年の Unity HMI プロジェクトの今後の展開にご期待ください。Unity の HMI ツールキットや Unity で制作されたその他の HMI 体験の詳細については、こちらを参照してください。また、HMI システムの変革については、Unity のホワイトペーパー『Top 5 ways real-time 3D is revolutionizing the automotive product lifecycle』をお読みください。