Search Unity

Unityの開発者の一人であるルーカス・マイヤーは Unite Europeのキーノートの中で、標準となるようなVRの体験とインタラクションのモデルは近い将来発明されるだろうと予期しつつも、今はまだその発生前夜だと話しました。それはどういう意味なのかというと、今はまさにこの新しいジャンルの定義に関わるような大活躍ができる最高の時で、ビジョンを持った勇敢なアーティストや開発者にとっての、まさに戦国時代なのです。

ブレンダン・ギボンス はナラティブデザイナーで、ブレダにあるNHTVの生徒でもあります。彼はその身一つでVRを使った映画撮影にチャレンジし、Oculus Riftで体験可能な VRライブアクション・ショートフィルム「Dyskinetic」 を撮影、Nijnmegenで開催されたGoShort 2014 国際映画祭で作品を発表しました。しかし、この撮影を通して彼が発見したのは解決策よりむしろ新しい問題ばかりで、だからこそ彼は Unite Europe で「参加者の誰かがこの問題を一つでも解決してくれることを願って」その体験と遭遇した問題を発表してくれました。

今までのパラダイムが通用しない世界

ブレンダン「VRフィルムの撮影では、やるべきだと分かっていながらも自分では出来ないことが余りにも多く、まったくもって無残な経験だったと言わざるをえません。わたしは映像をまとめるために7つの異なるソフトウェアを使用しました。その中にはファイル名をまとめて変更するための管理ツールや、撮影したビデオをOggフォーマットに変換するソフトなども含まれます。撮影した映像をVRで利用できるフレームに変換するワークフローは特ににヒドくて、もっと良いやり方があるはずです」

ブレンダン「VRはまだ未来のテクノロジーの一角です。すくなくともエンターテインメントコンテンツとしてはそうです。頭に何かを装着すればどこか別のところに行ったように感じられるテクノロジー?そいつが未来じゃなくてなんだってんですか!ただ、私たちはまだ現在のパラダイムの技術を使ってこの未来のコンテンツを創ろうとしています。たとえば私たちは『FPSのゲームをVRに移植するにはどうしたらいいか』とか、VR空間での「実在感(プレゼンス)」ついて議論しています。でも、現在の段階では『VR空間の中に居るように感じられる』というコンセプト、つまり実在感だけをテーマにしたアプリケーションやフィルムを創るのは難しいです。本当のチャレンジというのは、VRでしか体験できないコンテンツをどうやったら作れるかということなんです」

Brenden's workflow to get his film footage into Unity

ブレンダンが採った撮影フィルムをUnityに持ち込むためのワークフロー

「実在感(プレゼンス)とは、知っていることと触れられることの間にある差です」

ポール・ハナーはブレンダンとはまた違った経歴をもつ人ですが、かれもブレンダンと同じく「本物のように感じられる」VRコンテンツを創ろうと挑戦する開発者です。かれはイギリスのニューポートにあるエアバス・ディフェンス・アンド・スペースの主任 3Dシミュレーションエンジニアで、Unite Europeでは 「Heliskape」という Airbus EC135 ヘリコプターでロンドンを飛び回れるVRヘリシミュレーターの開発経験について講演してくれました。

ポール「新しいものに触れ合った時に得られる、特有の不思議な感覚・感動(センスオブワンダー)というものがありますよね。私たちは、どうやったらそれを創り出せるかということを深く考えていました。実在感を創り出すためには、入力システムが重要な役割を果たします。Heliskapeでは実際に手で触れて動かす物理的なコントロールを正しく設計することに注力し、実世界でヘリコプターを運転するときにするような操作を実装しました。たとえば、コントローラーのスロットルを物理的に前に動かすといった操作が、仮想空間に実在感を与えるんです」

彼は講演のなかで、Heliskapeによって椅子に座っていただけの学生が平衡感覚の消失を体験するまでの過程を詳しく話しました。

ポール「彼女はずっと本当に空高く飛んでいるように感じ、その体験に圧倒されていました。まったく素晴らしかったです」

ポール「私たちが本当のVR体験を創れるようになるまで、それほど時間がかかる場所に位置しているとは思いません。VRは現在、他のどんな入力メディアよりも速く進化しています。OculusとValveが開発中の空間を認識能力をもったコントローラーは大きなブレイクスルーになるでしょうね。」

Unityでイノベーションを創り出す

Unite Europeのキーノートの中で、ルーカス・マイヤーはOculus RiftとGear VRの組み込みサポートを含むUnity 5.1の新機能について話しました。そして講演中、VRへの取り組み方は「とにかく新しいアイディアを沢山試して、何が上手く行くかを見てみることだ。Untyはそのための実験には最高の開発環境だ。早く実験し、早く失敗して何百もの可能性の中から、VRで機能するインタラクションや体験のモデルを探し当ててほしい」と語りました。

エアバス社では ポールと彼の開発チームはUnityをプロトタイプのメインツールとして使っています。
ポール「Unityは頭の中にあるアイディアを試して、それが上手くいくかどうかを複数のデバイスで素早く試すのに、すごく役に立ちますね。新しい境地を開拓するためにはとてもいいツールです。」
さらに彼は、Unity 5の特にスタンダードシェーダーとリアルタイム・グローバルイルミネーションが、アーティストのワークフローをさらに効率的にしたと語りました。

ブレンダンはVRフィルムをUnityでまとめましたが、それ自体はとても簡単だったと語っています。
ブレンダン「録画したフィルムをUnity 5のテクスチャとして使うようにし、あとはPrefabをドラッグすればいいだけで、速攻で動作しました」

footage as texture

Dyskinetic の Unity上での編集画面

業界を超えた知の共有がVRの未来を形作る

ポール「シリアスゲームでは、現実世界を模した世界を創る必要があるんです。ゲーム開発者は現実とは違う独自の世界を創ることが多いと思いますが… 私たちのアプローチは他のゲームとは違うところがあるけど、お互いに学べることが多いはずですし、そうすべきだと思います。VRはゲームも、映画も、人々が不動産を購入する方法も、休日の過ごし方でさえ・・・とにかく、VRは全てを変えてしまうんですから」

ブレンダン「VRフィルムは、数々の努力と勉強を必要とします。インタラクティブシアターからは、俳優にどういう位置取りをさせたらいいか学べるでしょう。映画からは、どうショットをフレーム取りするか学ぶ必要があります。さらにゲーム開発からレベルデザインを学ぶ必要があります。たとえば、ライトをどう配置したらいいか、色はどう使うか、フィルムのなかでどう要素をアニメーションさせたら視聴者はそっちを振り向いてくれるか、等々です。とにかく、何もかもから発想を得るべきです!これは全く未開の領域なのですから。私たちは全く新しいストーリーテリングの手法を創っているんです」

UnityでのVR開発についてもっと知りたい方は、Unite Europeの以下のセッションを視聴することをお勧めします:






14 コメント

コメントの配信登録

コメント受付を終了しました。

  1. Austin Mace

    8月 12, 2015 2:32 am

    We need proper video playback support for Unity/mobile dev.

    There are a ton of video creatives getting into 360 video without much coding experience, where Unity would make a lot of sense for those creatives to make 360 video VR apps.

  2. خرید vpn

    8月 6, 2015 7:08 pm

    خرید vpn :tnx for this site

  3. David Lannan

    7月 23, 2015 5:52 am

    VR is a puzzling thing for me. Its generally not new – yes, its cheaper now, but 15 yrs ago when I was working with SGI based solutions for virtual soldiers and virtual environments we were running good vision with 1024×768 per eye and some of the best tracking around (yes, it was very expensive). A huge amount of research came out of that era (especially in defense) and much of it is now be “re-visited” as if it never happened, and that many outcomes from those years have been just forgotten .. or maybe lost I don’t know. In general VR is _not_ applicable for all forms of interaction, in fact it effectively only works well for seated ‘cockpit’ styled applications. Interactive movies with VR have been around for just as long.. ok.. its a great toy.. but the experience is only available _per_ device, so its a very expensive way to share media (which is what media is all about) among people.
    My view.. temper your ideals on VR. Look more toward AR, because this is truly new – its only recent times that this has been achievable with acceptable graphical artifacts. And in the long run, VR can be emulated by AR simply by turning off the camera input. VR cannot become AR without additional hardware and software. AR is where I would put my money.. its where all consumer products will eventually go. (imho)

    1. Ivan Sutherland must be having a good laugh at VR as ‘new-tech’.
      Apart from games – and a minority of dedicated enthusiasts, VR is a great aid for ‘serious’ endeavours such as architectural concept design development. However, I would agree that AR will be the way to go as long as the hardware is light, minimal and wireless. The consumer market won’t be sharing developers’ enthusiasm for the current range of tethered VR headsets so that hardware will need to evolve considerably prior to launch.

    2. I think the price difference is the game changer. Touch screens were around long before the iPhone, but after Apple capitalized on it and made it main stream, touch took off and now it’s in everything. I think that once VR can become main stream, there will be more opportunities for innovation. Like social interactions, which is why Facebook bought their way in. Also, the graphic abilities are so much better now that VR can be a joy to use, and really make you feel like you’re in an alternate universe. AR still seems very limited to me. Because you’re limiting the software to fit your living room. And right now I think a dedicated VR device can do better VR than a AR device that can do VR. So, I’m excited about the potential of VR right now. AR will see plenty of success as well.

  4. Adams Immersive

    7月 22, 2015 6:59 pm

    I really hope Unity adds out-of-the box support for Cardboard as well! It has grown to make SO much more sense than Gear VR.

  5. Adams Immersive

    7月 22, 2015 6:57 pm

    Google Cardbooard is very impressive, and works great with Unity and iPhone. (And Android I’m sure.) I had to add my own neck model, but the portability of an iPhone-based solution is outstanding, and the detail/speed I’m able to achieve has been surprisingly good. Tracking is rock-solid. I’ll release a free demo app in a few weeks, but there are a few demos out already. (Official support for iOS is new this year.)

    Amazon is loaded with Cardboard-compatible viewers, made of plastic, with a strap, NOT actually cardboard, but still very cheap. And an iPhone 6+ costs $750, making the whole rig maybe $800 or less. (But Carboard V2 is different–and some headsets have a narrower FOV. So shop carefully. I still haven’t settled on one to recommend. But I built my one from Legos.)

    1. Patrick Hogenboom

      7月 23, 2015 1:23 am

      If you like cardboard, you’ll probably like Wearality Sky too (https://www.kickstarter.com/projects/wearality/wearality-sky-limitless-vr).
      It’s a phone-holder headset too, but really advanced fresnel lenses that claim 150 deg fov!
      Although this claim seem to require a 6 inch phone screen, it blows my mind that we can have such a large fov in a portable form factor.
      Especially since the cardboard (1) fov is so incredibly tiny…
      Looking forward to receiving my Wearality Sky soon, seems they sent out the kickstarter rewards on the 20th.

      1. I got my wearality glasses (“glasses” is a better term than goggle for these things!), we talk about it on the podcast here: http://unclejonny.com/2015/07/25/episode-12-is-going-from-2d-to-3d-more-wowzer-than-vr-itself/

  6. Jashan Chittesh

    7月 22, 2015 3:07 pm

    I think one thing that’s still largely missing in VR is properly using the 2D-monitor. First we had the distorted “two-lenses view” which was distorted and really weird. Now we’re moving towards a more “normal” view, somewhat distorted or undistorted, still showing what the headset renders. But in many cases, watching that actually is quite confusing and in some cases even a little nauseating. For videos and people not currently wearing the headset (like in a social setting where you play together with a few friends, one using the headset, the others watching them play), that’s not really satisfying.

    For Holodance, I’m currently using up to three cameras rendering to the 2D game window: The big one that fills the whole area is actually a third person view – which I think is more appropriate in many cases. This does render the headset which obviously isn’t visible to the players wearing the headset. Then there’s a small area on the bottom left rendering what the player with the headset sees (this is useful – but by making it smaller, it’s not as annoying as watching this fullscreen). And there’s another (optional) one on bottom right that shows a “physical world” camera. This wouldn’t make sense in social settings but is useful for videos. In this specific game, those views are also available in VR, kind of as screens that they can look at (especially the physical world camera can sometimes be really useful to make sure you don’t run into stuff ;-) ).

    Here’s a video recorded with this setup: Holodance Prototype – Gameplay 03.

    Another interesting thing is how to handle combined 2D and VR GUIs – but that’s another topic ;-)

    Ah, one final note about the video: I’ve already slowed down the turning on beats of the 3rd person camera because having it this fast/intense kind of is exactly what I wanted to avoid by not showing the headset image in the large screen area ;-)

    1. I really like this setup !
      What is the pipeline ?
      What about performance ?

      Can you explain more in-depth how to achieve this ?

      Thanks

      1. Jashan Chittesh

        7月 22, 2015 5:46 pm

        Sure! Glad you like it!

        I also have an improved video that specifically highlights this kind of setup. There’s endless possibilities, of course: Holodance Game View Demo. I might also add a video that shows how this is done in the editor. It’s not rocket science ;-)

        The major key is that I’m using the SteamVR Unity Plugin. Unlike the native Unity VR integration, this uses a much more “Unity-like” approach where you can add components to game objects to get a specific effect (instead of assuming that ticking a checkbox to active VR will do anyone any good). So there’s SteamVR_Tracked, for example, which makes a game object a tracked game object (you can then select what device is tracked, e.g. HMD or a specific controller). Or SteamVR_Camera, which makes a camera render to the headset.

        With SteamVR_Camera, there’s a button to expand / collapse the setup and when it’s expanded you have Origin, Head and Eye (I’ve already requested a mode where they only create Head and Eye which would be more compatible with the native VR integration that Unity comes with). The “Eye” camera is the one that gets rendered to the game view (I don’t have the project on this computer – might have also been Head but I think it was Eye), and you can set this up however you like. The only thing that didn’t work for me, yet, was to disable it, which I hope can be done somehow if you need maximum performance and no rendering to the 2D game window.

        For the in-VR planes that are kind of like “screens” I’m using RenderTextures that I put into the materials of those planes. To avoid having to re-render everything too many times, I’m using those same render textures also for the cameras in the 2D game window. So that’s cameras that just render a plane which has a RenderTexture in its material.

        The performance very much depends on what you do, of course. The more cameras you have rendering more stuff, the longer it takes, that’s just simple math.

        That’s something where Unity’s native VR integration really shines because there, rendering to the 2d game view has zero impact on the framerate (I was really surprised but they’re just copying the image from the headset onto the screen which is very fast). This is definitely something that should be available as an option but maybe with ways to control how much of the screen this actually consumes if you want to have additional cameras rendering to the 2D game window. Either way, I really want the full flexibility and even with the complex setup that even has a Kinect One as camera which is rendered to another render texture, it’s still 90+ most of the time (it’s not a particularly complex scene, though, so your mileage may vary).

        Btw, to grab the video from the Kinect One, I’m using Kinect v2 with MS-SDK … but I guess any camera-to-RenderTexture package would do (I’m not really using any “Kinect features” ATM – its tracking is slow and not particularly precise).

        Feel free to join the Holodance Vimeo Group – I’ll be posting regular updates there and it will also be a place to discuss.

        One thing I’m quite excited about that will be coming during the next few days is a combined 2D/VR-GUI approach. I posted a bit on this already on the forums in this thread: Both Oculus and normal game 2-in-1.

    2. Patrick Hogenboom

      7月 23, 2015 1:15 am

      Interesting approach man.
      I was recently thinking along the same lines when watching people use the vive on youtube.
      My reaction was that these video’s should be recorded in front of a greenscreen and then key in the virtual world. That would make such a video so much more engaging.