Search Unity

НЕИЗВЕДАННАЯ ТЕРРИТОРИЯ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ

, Июль 22, 2015

Как отметил во время пленарного доклада Unite Europe Лукас Мейер (Lucas Meijer), модели взаимодействия с VR, которые установят стандарты в ближайшем будущем, еще не придуманы. И для бесстрашных художников и разработчиков это означает отличную возможность войти в мир виртуальной реальности и помочь определить новые жанры.

Бренден Гиббонс — студент университета NHTV (г. Бреда), дизайнер-сценарист. Он снял короткий фильм Dyskinetic, предназначенный для просмотра с помощью Oculus Rift. Фильм был показан на международном фестивале GoShort 2014 в Неймегене. Гиббонс выступил на конференции Unite Europe, где рассказал о проблемах, от решения которых будет зависеть дальнейшее развитие жанра.

Существующая парадигма не работает

«Это был крайне неоднозначный опыт. Многие задачи, которые все еще нужно решить, я сам решить не в состоянии. Мне пришлось использовать семь различных программ, чтобы собрать фильм: например, понадобилось отдельное приложение для массового переименования файлов, и другое — для того, чтобы конвертировать отснятый материал в формат .OGG для Unity. Процесс, который мне пришлось применять для нарезки материала на кадры, был особенно неудобным».

«Виртуальная реальность — технология будущего. Казалось бы, будущее уже должно было наступить: ведь уже можно надеть шлем и ощутить себя в другом месте! Проблема в том, что мы все еще используем старые подходы для разработки этих “развлечений будущего”. Мы задаемся вопросами вроде “а как портировать шутер в VR?”. Ещё есть проблема с эффектом присутствия: мы пока не разобрались, как правильно сделать игру или фильм, которые действительно используют эффект присутствия. Я считаю, что наша задача — определить, каким образом создается контент, изначально предназначенный для виртуальной реальности и только для нее».

Brenden's workflow to get his film footage into Unity

Использованный Бренденом процесс адаптации отснятого материала для Unity

«Присутствие — это разница между знанием и ощущением»

Еще один выступающий на Unite Europe — Пол Ханна, ведущий специалист по трехмерным симуляциям в Airbus DS Newport — рассказал о приложении для устройств виртуальной реальности Heliskape. Это симулятор полета над Лондоном с видом из кабины вертолета Airbus EC135.

«Мы думали, как вызвать у пользователя чувство восхищения. Для этого важно создать эффект присутствия, и поэтому большую роль играет механизм ввода. Для Heliskape мы создали систему распознавания движений рук, которая эмулирует управление настоящим вертолетом. Например, можно движением руки передвинуть ручку газа».

Пауль вспоминает тестирование Heliskape: один раз у испытывающей приложение студентки даже закружилась голова. «Она действительно почувствовала, что находится в полете. Это было восхитительно, именно такого погружения мы добиваемся».

«Я думаю, что мы близки к широкому внедрению виртуальной реальности. Технология виртуальной реальности развивается быстрее, чем любой другой способ связи приложения с пользователем. Я возлагаю надежды на новые пространственные контроллеры, которые сейчас разрабатывают Oculus и Valve».

Unity и инновации VR

В своей приветственной речи на Unite Europe наш разработчик Лукас Майер упомянул новые возможности Unity 5.1, в том числе поддержку Oculus Rift и Gear VR по умолчанию. «Самый верный путь на данном этапе — опробовать как можно больше практических приложений технологии VR, используя различные модели взаимодействия с пользователем, и таким образом выяснить, какие из них работают. Мы считаем Unity наилучшей средой разработки для таких экспериментов, поскольку цена каждой попытки реализовать идею, оказавшуюся впоследствии неудачной, будет сравнительно невелика».

Команда Пола Ханны в Airbus использует Unity для разработки моделей. «Unity позволяет нам быстро проверять новые концепции, которые приходят нам в голову, в том числе и на совместимость с различными платформами». По словам Пола, возможности Unity — особенно компонентов Standard Shader и Real-time Global Illumination — помогли упорядочить рабочий процесс художников.

Бренден заявляет, что Unity 5 значительно упростил процесс монтажа его VR-фильма. «Я подставил запись в качестве текстуры, а потом просто перетащил шаблон, и фильм заработал».

footage as texture

Работа над Dyskinetic в Unity

Обмен знаниями между индустриями – ключ к успешному будущему виртуальной реальности

Пол: «В своей работе мы выполняем задачу воссоздания реального мира, тогда как разработчики игр часто создают свои собственные миры. У нас разные подходы, но нам следует учиться друг у друга. Виртуальная реальность повлияет на всё: от игровой индустрии и кинематографа до того, как люди покупают недвижимость и выбирают места для отдыха. Эти изменения затронут весь мир».

Бренден: «VR — это не одна дисциплина, а множество. Вдохновение и опыт можно черпать откуда угодно! Интерактивный театр расскажет, как правильно расставлять персонажей; кинематограф — как брать правильные ракурсы; искусство дизайна игровых уровней — как расставлять источники света, какие цвета выбирать, как привлекать внимание зрителя к нужным элементам. На этой территории можно строить абсолютно новые методы повествования».

Актуальные видеоматериалы с презентаций Unite Europe, посвященных технологии виртуальной реальности:






Комментарии закрыты.

  1. We need proper video playback support for Unity/mobile dev.

    There are a ton of video creatives getting into 360 video without much coding experience, where Unity would make a lot of sense for those creatives to make 360 video VR apps.

  2. خرید vpn :tnx for this site

  3. VR is a puzzling thing for me. Its generally not new — yes, its cheaper now, but 15 yrs ago when I was working with SGI based solutions for virtual soldiers and virtual environments we were running good vision with 1024×768 per eye and some of the best tracking around (yes, it was very expensive). A huge amount of research came out of that era (especially in defense) and much of it is now be «re-visited» as if it never happened, and that many outcomes from those years have been just forgotten .. or maybe lost I don’t know. In general VR is _not_ applicable for all forms of interaction, in fact it effectively only works well for seated ‘cockpit’ styled applications. Interactive movies with VR have been around for just as long.. ok.. its a great toy.. but the experience is only available _per_ device, so its a very expensive way to share media (which is what media is all about) among people.
    My view.. temper your ideals on VR. Look more toward AR, because this is truly new — its only recent times that this has been achievable with acceptable graphical artifacts. And in the long run, VR can be emulated by AR simply by turning off the camera input. VR cannot become AR without additional hardware and software. AR is where I would put my money.. its where all consumer products will eventually go. (imho)

    1. Ivan Sutherland must be having a good laugh at VR as ‘new-tech’.
      Apart from games – and a minority of dedicated enthusiasts, VR is a great aid for ‘serious’ endeavours such as architectural concept design development. However, I would agree that AR will be the way to go as long as the hardware is light, minimal and wireless. The consumer market won’t be sharing developers’ enthusiasm for the current range of tethered VR headsets so that hardware will need to evolve considerably prior to launch.

    2. I think the price difference is the game changer. Touch screens were around long before the iPhone, but after Apple capitalized on it and made it main stream, touch took off and now it’s in everything. I think that once VR can become main stream, there will be more opportunities for innovation. Like social interactions, which is why Facebook bought their way in. Also, the graphic abilities are so much better now that VR can be a joy to use, and really make you feel like you’re in an alternate universe. AR still seems very limited to me. Because you’re limiting the software to fit your living room. And right now I think a dedicated VR device can do better VR than a AR device that can do VR. So, I’m excited about the potential of VR right now. AR will see plenty of success as well.

  4. I really hope Unity adds out-of-the box support for Cardboard as well! It has grown to make SO much more sense than Gear VR.

  5. Google Cardbooard is very impressive, and works great with Unity and iPhone. (And Android I’m sure.) I had to add my own neck model, but the portability of an iPhone-based solution is outstanding, and the detail/speed I’m able to achieve has been surprisingly good. Tracking is rock-solid. I’ll release a free demo app in a few weeks, but there are a few demos out already. (Official support for iOS is new this year.)

    Amazon is loaded with Cardboard-compatible viewers, made of plastic, with a strap, NOT actually cardboard, but still very cheap. And an iPhone 6+ costs $750, making the whole rig maybe $800 or less. (But Carboard V2 is different—and some headsets have a narrower FOV. So shop carefully. I still haven’t settled on one to recommend. But I built my one from Legos.)

    1. Patrick Hogenboom

      Июль 23, 2015 в 1:23 дп

      If you like cardboard, you’ll probably like Wearality Sky too (https://www.kickstarter.com/projects/wearality/wearality-sky-limitless-vr).
      It’s a phone-holder headset too, but really advanced fresnel lenses that claim 150 deg fov!
      Although this claim seem to require a 6 inch phone screen, it blows my mind that we can have such a large fov in a portable form factor.
      Especially since the cardboard (1) fov is so incredibly tiny…
      Looking forward to receiving my Wearality Sky soon, seems they sent out the kickstarter rewards on the 20th.

      1. I got my wearality glasses («glasses» is a better term than goggle for these things!), we talk about it on the podcast here: http://unclejonny.com/2015/07/25/episode-12-is-going-from-2d-to-3d-more-wowzer-than-vr-itself/

  6. I think one thing that’s still largely missing in VR is properly using the 2D-monitor. First we had the distorted «two-lenses view» which was distorted and really weird. Now we’re moving towards a more «normal» view, somewhat distorted or undistorted, still showing what the headset renders. But in many cases, watching that actually is quite confusing and in some cases even a little nauseating. For videos and people not currently wearing the headset (like in a social setting where you play together with a few friends, one using the headset, the others watching them play), that’s not really satisfying.

    For Holodance, I’m currently using up to three cameras rendering to the 2D game window: The big one that fills the whole area is actually a third person view — which I think is more appropriate in many cases. This does render the headset which obviously isn’t visible to the players wearing the headset. Then there’s a small area on the bottom left rendering what the player with the headset sees (this is useful — but by making it smaller, it’s not as annoying as watching this fullscreen). And there’s another (optional) one on bottom right that shows a «physical world» camera. This wouldn’t make sense in social settings but is useful for videos. In this specific game, those views are also available in VR, kind of as screens that they can look at (especially the physical world camera can sometimes be really useful to make sure you don’t run into stuff ;-) ).

    Here’s a video recorded with this setup: Holodance Prototype — Gameplay 03.

    Another interesting thing is how to handle combined 2D and VR GUIs — but that’s another topic ;-)

    Ah, one final note about the video: I’ve already slowed down the turning on beats of the 3rd person camera because having it this fast/intense kind of is exactly what I wanted to avoid by not showing the headset image in the large screen area ;-)

    1. I really like this setup !
      What is the pipeline ?
      What about performance ?

      Can you explain more in-depth how to achieve this ?

      Thanks

      1. Sure! Glad you like it!

        I also have an improved video that specifically highlights this kind of setup. There’s endless possibilities, of course: Holodance Game View Demo. I might also add a video that shows how this is done in the editor. It’s not rocket science ;-)

        The major key is that I’m using the SteamVR Unity Plugin. Unlike the native Unity VR integration, this uses a much more «Unity-like» approach where you can add components to game objects to get a specific effect (instead of assuming that ticking a checkbox to active VR will do anyone any good). So there’s SteamVR_Tracked, for example, which makes a game object a tracked game object (you can then select what device is tracked, e.g. HMD or a specific controller). Or SteamVR_Camera, which makes a camera render to the headset.

        With SteamVR_Camera, there’s a button to expand / collapse the setup and when it’s expanded you have Origin, Head and Eye (I’ve already requested a mode where they only create Head and Eye which would be more compatible with the native VR integration that Unity comes with). The «Eye» camera is the one that gets rendered to the game view (I don’t have the project on this computer — might have also been Head but I think it was Eye), and you can set this up however you like. The only thing that didn’t work for me, yet, was to disable it, which I hope can be done somehow if you need maximum performance and no rendering to the 2D game window.

        For the in-VR planes that are kind of like «screens» I’m using RenderTextures that I put into the materials of those planes. To avoid having to re-render everything too many times, I’m using those same render textures also for the cameras in the 2D game window. So that’s cameras that just render a plane which has a RenderTexture in its material.

        The performance very much depends on what you do, of course. The more cameras you have rendering more stuff, the longer it takes, that’s just simple math.

        That’s something where Unity’s native VR integration really shines because there, rendering to the 2d game view has zero impact on the framerate (I was really surprised but they’re just copying the image from the headset onto the screen which is very fast). This is definitely something that should be available as an option but maybe with ways to control how much of the screen this actually consumes if you want to have additional cameras rendering to the 2D game window. Either way, I really want the full flexibility and even with the complex setup that even has a Kinect One as camera which is rendered to another render texture, it’s still 90+ most of the time (it’s not a particularly complex scene, though, so your mileage may vary).

        Btw, to grab the video from the Kinect One, I’m using Kinect v2 with MS-SDK … but I guess any camera-to-RenderTexture package would do (I’m not really using any «Kinect features» ATM — its tracking is slow and not particularly precise).

        Feel free to join the Holodance Vimeo Group — I’ll be posting regular updates there and it will also be a place to discuss.

        One thing I’m quite excited about that will be coming during the next few days is a combined 2D/VR-GUI approach. I posted a bit on this already on the forums in this thread: Both Oculus and normal game 2-in-1.

    2. Patrick Hogenboom

      Июль 23, 2015 в 1:15 дп

      Interesting approach man.
      I was recently thinking along the same lines when watching people use the vive on youtube.
      My reaction was that these video’s should be recorded in front of a greenscreen and then key in the virtual world. That would make such a video so much more engaging.