Search Unity

Varjo와 Volvo가 구현한 세계 최초의 사실적 혼합 현실 데모 공개

, 9월 9, 2019

탁월한 VR 화질로 유명한 산업용 VR/XR 헤드셋 제조사 Varjo가 Unity로 제작한 자동차 프로젝트의 비하인드 스토리를 소개합니다.

Varjo 팀은 혼합 현실 분야를 선도하는 혁신적인 VR기기 제조사로, 이미 자체 제작한 사진 측량 기반 VR 환경을 공개한 바 있습니다. 이번 블로그 포스팅을 통해 Varjo 팀이 Volvo와 함께 Unity를 사용하여 현실과 가상 세계를 혼합한 새로운 차원의 획기적인 데모를 제작한 과정을 소개합니다.

유나이트 코펜하겐(Unite Copenhagen)에서 이 프로젝트를 직접 체험해보세요. Volvo와 Varjo가 현장에서 데모를 진행하고 다음 세션들을 통해 자세히 안내할 예정입니다.

  • 실시간 3D기술을 도입하여 자동차 업계를 뒤흔든 Volvo
  • Varjo VR-1 및 XR-1로 차세대 VR 및 MR 경험 제작
  • 미래 교통수단, 스마트 카와 자율주행: 새로운 시대를 준비하는 Volvo

 

티켓 구매하기

사실적인 혼합 현실 구현

콘텐츠 제공: Varjo

혼합 현실은 가상 콘텐츠와 현실 세계의 경계를 무너뜨리는 기술입니다. 지금까지 혼합 현실은 특수 안경을 착용한 사용자에게 현실 세계 위에 디지털로 구현된 사물을 증강하여 보여주는 옵티컬 시스루(optical see-through) 방식을 사용했습니다. 이러한 방식은 인포그래픽을 표현하거나 게임을 플레이하는 데는 문제가 없지만, 사실적인 씬을 구현하기에는 부족합니다. 옵티컬 시스루 기기는 검정색 오브젝트나 불투명한 콘텐츠를 현실 세계 위에 겹쳐서 보여주지 못하며, 모든 물체가 흐릿하고 홀로그램처럼 표현됩니다.

Varjo는 이러한 제약을 극복하고 불투명한 콘텐츠를 사진처럼 사실적으로 렌더링하여 실제와 가상을 구분하기 힘들 정도로 사실적인 경험을 제공하고자 했습니다. 저희 목표는 비디오 패스 스루(video-pass through) 방식을 통한 사실적인 혼합 현실의 구현이었습니다. 비디오 패스 스루는 카메라를 이용하여 실시간으로 세계를 디지털화한 다음, 현실과 가상을 혼합한 결과물을 사용자에게 보여주는 기법입니다.

사실적인 혼합 현실을 구현하려면 먼저 현실 세계를 사람의 눈과 같은 해상도로 보여줄 수 있는 VR 헤드셋이 필요했습니다. 따라서 저희는 2019년 2월에 사람의 눈에 버금가는 해상도를 지원하는 최초의 전문가용 헤드셋 VR-1을 출시했습니다.

또한 산타클라라에서 열린 Augmented World Expo 2019에서 비디오 패스 스루로 구현할 수 있는 놀라운 기술을 살짝 공개하기도 했습니다. 행사 기간 동안 Unity를 이용하여 Volvo와 공동 제작한 데모를 시연하면서 자사의 신제품 헤드셋 XR-1 Developer Edition을 선보였습니다. XR-1은 지연이 거의 없을 뿐 아니라 아이트래킹(eye tracking) 기능과 탁월한 해상도를 자랑하는 제품으로 가상 콘텐츠를 현실과 자연스럽게 혼합하여 실제와 같이 보여줍니다.

세계 최초의 극사실적 혼합 현실 데모가 탄생한 과정은 다음과 같습니다.

 

이 동영상은 Varjo XR-1 Developer Edition으로 촬영한 원본입니다. 사실적 가상 콘텐츠가 현실과 혼합되는 모습을 풀프레임의 시야각(FOV)으로 볼 수 있습니다. 또한 XR에서 완전한 VR로 원활하게 전환할 수 있습니다.

Unity를 사용하여 Volvo와 XR-1 데모 개발

Varjo는 2018년 초부터 혼합 현실 헤드셋을 통한 비디오 패스 스루를 개발해왔습니다. 동시에 Volvo는 헤드업 디스플레이, 신소재, 인포테인먼트 시스템 UI 등 실제 테스트 트랙에서 미래형 차량을 실제로 운행할 때 사용할 XR 헤드셋의 필요성을 강조하면서, 2018년 봄부터 Varjo와 협업을 시작했습니다. 결과적으로 Varjo는 테스트 트랙에서 차량을 운행할 때 필요한 가독성과 극도로 낮은 수준의 지연이라는 까다로운 요구 사항을 충족하는 제품을 성공적으로 개발하게 되었습니다.

기존에 VR-1을 통해 적합성이 입증된 Unity를 사용해 혼합 현실에서 가상 오브젝트가 어떻게 보이는지 시험해보았습니다. Unity는 C++ 라이브러리에 손쉽게 통합하고 확장 가능하므로 혼합 현실을 지원하기 위한 Varjo 자체 플러그인을 Unity를 이용하여 확장하였습니다. 비디오 패스 스루 신호가 VR 씬의 빈 배경을 대체하도록 정의하기만 하면 바로 가상 오브젝트를 현실 세계에 겹쳐 보이게 할 수 있습니다.

고객과 협업하는 동시에 패스 스루를 개발하고 향상해야 하는 환경에서도 Unity 덕분에 긴밀한 협업과 빠른 반복 작업이 가능했습니다. 그로부터 1년 후, XR-1의 최초 공개 시연에서 Unity의 사실적 그래픽과 결합된 Varjo의 기술력을 Volvo의 우수한 모델을 통해 생생하게 보여줄 수 있었습니다.

이 데모는 옵티컬 시스루와 대비되는 비디오 패스 스루 혼합 현실의 강력한 기능을 보여줍니다. XR-1을 사용하면 사실적 가상 콘텐츠가 현실과 혼합되는 모습을 풀프레임의 시야각(FOV)으로 볼 수 있습니다. 또한 XR에서 완전한 VR로 원활하게 전환할 수 있습니다. 이 데모는 다음 내용을 포함하고 있습니다.

1. 현실 세계를 더욱 실감나게 체험

XR-1 헤드셋을 이용하면 주변 환경을 더욱 생생하게 체험할 수 있습니다. 현실 세계는 전면에 부착된 고해상도 카메라를 통해 스트리밍됩니다(지연 10ms 미만). 고해상도에 풀프레임의 시야각(FOV), 90Hz 프레임 속도로 마치 헤드셋 없이 현실 세계를 눈으로 직접 보는 것과 같은 느낌을 받을 수 있습니다. 헤드셋을 착용한 상태에서 자유롭게 걸어다닐 수도 있습니다.

2. 사실적인 혼합 현실로 진입

멋진 Volvo XC60모델이 눈앞에 나타납니다. 이 가상 차량은 파란색의 투명한 와이어프레임 형태이며 실제 공간의 바닥에 고정되어 있습니다. 혼합 현실 체험 부스에 있는 의자와 가상 차량의 운전석은 일렬로 위치합니다. 체험자는 부스에 있는 의자에 앉아 와이어프레임 너머로 실제 주변 환경을 볼 수 있습니다.

이후 차량은 실제 모델처럼 바뀌며, 표면도 불투명해집니다. 가상 차량이 현실 세계의 바닥에 그림자를 드리우고, 차량의 표면에 실제 세계가 반사되어 보입니다. 이러한 반사 효과는 차량의 정확한 위치 설정 중 포착된 HDR 큐브 맵에서 전송됩니다. 해당 큐브 맵은 주변광에도 사용됩니다.

이때 체험자는 불투명한 혼합 현실을 최초로 보게 되는데 그 효과는 상상 이상입니다. 마치 실제처럼 차창 너머로 현실 세계와 동료들이 보이기까지 합니다.

구현 방법:

Volvo가 제공한 차량 모델을 이용했습니다. 헤드셋과 차량의 해상도가 매우 높으므로 최대한 많은 전처리 작업이 필요했습니다. 조명은 DCC에서 텍스처로 베이크하고 커스텀 셰이더에서 증식했습니다. 베이크된 텍스처는 오클루전만 처리하고, 셰이딩은 계속해서 스카이박스의 영향을 받도록 설정했습니다.

Volvo의 마티아스 빌켄말름(Mattias Wilkenmalm)이 제작한 고품질 에셋과 커스텀 차량 페인트 셰이더를 기반으로 수정을 가하여 원하는 모습(그래픽 품질 또는 외양)과 그러한 전환 효과를 구현했습니다. 최종 모델은 약 7백만 개의 폴리곤으로 구성되며, 약 150개의 4K 텍스처를 포함합니다.


3. 현실에서 가상 현실로, 가상 현실에서 현실로

다음 단계에서는 체험자를 차량 밖으로 나오게 하고 풍경을 베니스로 전환합니다. 그러면 기존 환경이 사라지며 베니스의 가상 씬으로 변합니다. 전환이 완료되면 베니스의 골목에 주차된 차량이 보입니다. 이제 차량의 표면에는 베니스의 풍경이 비치며, 차량의 그림자도 베니스의 거리에 드리워집니다.

잠시 후 가상 현실에서 다시 실제 세계로 돌아옵니다. 이제 체험자는 가상 차량 주변을 둘러보며 세부적인 부분과 반사광을 살펴볼 수 있습니다. 즉, XR-1을 이용하면 가상 현실을 경험하는 중에도 다른 사람들과 계속 상호작용하고 가상화하고자 하는 부분만 선택할 수도 있습니다.


구현 방법: 시각적 완성도가 높은 전환을 구현하기 위해, Volvo의 가상 환경 및 XR 연구 책임자 티모테이 기우로(Timotei Ghiurau)는 월드 공간 3D 노이즈와 알파 컷아웃을 사용하여 차량과 환경을 구현했습니다. 프래그먼트에서 빠른 구현이 가능하며, 멋진 시각 효과를 얻을 수 있는 이 방식은 기한이 촉박한 경우에 매우 적합합니다. 노이즈 함수는 유니티의 Kejiro’s repository에서 가져올 수 있습니다.

차량의 반사를 원활하게 전환하기 위해 별도의 레이어에 베니스의 풍경을 추가하여 실시간 반사 프로브가 최소한의 지오메트리만을 렌더링하게 했습니다. 반사 프로브는 초당 30프레임으로, 씬은 그보다 훨씬 더 빠른 프레임 속도로 렌더링되었습니다. 반사 프로브에 전환이 보이도록 연출하자 씬의 몰입감이 훨씬 더 높아졌습니다.


실제 현실, 혼합 현실 그리고 완전한 VR 경험 간에 원활한 전환이 가능한 최초의 헤드셋 XR-1은 탁월한 기능만큼이나 놀랍고 사실적인 데모를 보여줍니다. 주변의 환경이 사라지고 가상 씬으로 대체되었다가 다시 실제 세계로 돌아오는 경험은 마치 영화 <매트릭스>의 한 장면을 연상시킵니다. XR-1은 이전의 그 어떤 기기에서도 불가능했던 혁신적인 기능을 제공합니다. 

기고해주신 Varjo에 감사의 말씀을 전합니다. 유나이트 코펜하겐에 참석하여 Varjo VR-1과 XR-1 Developer Edition을 직접 체험해보세요.

0 코멘트

코멘트 구독

댓글 남기기

사용할 수 있는 HTML 태그 및 속성: <a href=""> <b> <code> <pre>