Owlchemy Labs와 함께 살펴보는 공간 컴퓨팅의 미래

공간 컴퓨팅의 새로운 시대가 열리고 있습니다. 개발자는 강력한 XR(확장 현실) 툴과 유연한 워크플로를 사용하여 상호작용을 추가하고, 그래픽스를 확장하거나 축소하고, 프로토타입을 제작하며, 에디터 내에서 테스트할 수 있습니다. 유니티는 2024 유니티 게임 업계 보고서에서 밝힌 바와 같이 XR 게임에 대한 수요가 늘어날 것으로 예상하고 있으며, 보고서 작성에 도움을 제공한 많은 스튜디오 또한 이러한 전망에 동의합니다.

유니티의 시니어 애드보킷 앤토니아 포스터는 Owlchemy Labs의 CEO 앤드루 아이헤와 만나 공간 컴퓨팅의 미래에 대한 전망과 Apple Vision Pro용 앱 개발에 대한 실용적인 팁을 듣는 시간을 가졌습니다.

앤토니아 포스터: 앤드루 님 안녕하세요. 인터뷰에 응해 주셔서 감사합니다.미래에 대한 전망부터 이야기해 보겠습니다. VR과 공간 컴퓨팅의 미래를 어떻게 내다보시나요? 

앤드루 아이헤: 우선 가장 큰 변화를 꼽자면, 도메인별 작업을 위한 일반적인 공간 컴퓨팅 환경으로 XR 기기를 사용하기 시작했다는 점이 있습니다. Apple Vision Pro 및 Meta의 운영 체제 변화가 그러한 방향성을 선도하고 있죠. 저희는 현재 매우 특수한 워크로드가 아닌 일반적인 워크로드에서 VR을 활용하는 패러다임의 변화를 적극적으로 수용하기 위해 노력하고 있습니다. 

실제로 XR에서 작업하려면 어떻게 해야 할까요? 저희는 기존 작업을 공간 환경 내의 동일한 패러다임으로 이전하려는 작업을 하고 있습니다. 아마 개발자들은 빠르게 적응할 것이며, 저희도 이러한 미디어의 범위와 깊이를 파악할 수 있을 것입니다. 

이 작업은 XR 기술의 유용성과 직관성을 발견할 수 있다는 점에서 매우 중요합니다. 이 업계에서 플랫폼은 이러한 지표 스펙트럼에 따라 분류되며, 채택 가능성이 가장 높은 플랫폼은 유용성과 직관성이 모두 높은 부류에 속합니다. 저희는 VR을 통해 스마트폰과 PC, 스마트 TV처럼 매우 유용하고 직관적인 방향으로 발전해 나가고자 합니다.

미래를 전망할 때 공간 컴퓨팅에 관한 아이디어는 VR을 더 유용하게 만드는 데 도움이 되지만, 아직은 실현 가능성을 더 높여야 할 필요가 있습니다. 어떻게 하면 될까요? 플레이어가 가장 집중하는 플랫폼인 모바일에 맞춰 기본 입력 벡터를 변경해야 합니다. 그런 다음 핸드 트래킹을 구현하고, 헤드셋의 무게를 줄이고, 광학 장치를 개선하여 사용성을 향상하는 데 집중해야 합니다.

기술의 진화에 관해 말씀해 주셨는데,향후 몇 년 동안 XR에 영향을 줄 수 있는 다른 기술 트렌드는 무엇이라고 생각하시나요? 

가우시안 스플래팅(Gaussian Splatting)이 매우 인상적이죠. 앞으로는 캡처와 애니메이션을 이해하는 수준이 더 높아질 것이라 생각합니다. 저희는 3차원 캡처와 관련하여 잘못된 문제를 해결했습니다. 공간과 카메라를 덮거나 광원 필드를 사용하면 된다고 생각했는데, 투명 가우시안(transparent Gaussian)처럼 더 뛰어난 기술이 있죠. 앞으로는 이 기술에 대한 연구와 최적화 방법을 찾는 데 많은 노력을 기울이게 될 것입니다.

AI도 큰 영향을 미치게 될 것 같아요. 제가 기대하는 흥미로운 사용 사례 중 하나는 전체 프레임을 렌더링할 필요 없이 일부만 렌더링하는 것입니다. 만약에 30% 정도만 렌더링하고 TPU(텐서 프로세싱 유닛)에 넘겨서 모든 이전 및 이후 데이터를 기반으로 나머지 부분을 채우도록 할 수 있다면 어떨까요? 헤드셋에 탑재된 그래픽스 칩이 PC처럼 작동할 수 있을 것입니다. NVIDIA RTX™에서 실제로 반사를 그렇게 구현한다는 점에서 이미 그러한 방향으로 나아가고 있다고 볼 수 있죠. 

또한 AI가 웨이트 페인팅의 공백을 메울 수도 있고, 생성형 AI가 트위닝(tweening)으로 가장 적합한 알고리즘을 대체할 수도 있습니다. 최적의 알고리즘에 구성 가능한 부분이 있고 각 부분 사이에 최적의 지점이 있다고 했을 때, 생성형 AI를 사용하여 중간에서 슬라이더를 움직이는 방식은 흥미롭고 유용하며 아티스트의 제어도 가능합니다. 이러한 방식은 주요 포즈를 만드는 데 집중하고 트위닝에 시간을 낭비하고 싶지 않은 애니메이터에게 유용할 것입니다. AI가 도와 줄 것이며, 애니메이터는 결과물을 보고 정리하기만 하면 되죠.

유용한 정보를 공유해 주셔서 감사합니다. XR 분야의 현재 트렌드를 바탕으로, 공간 컴퓨팅의 시대를 향해 나아가는 개발자에게 조언을 주실 수 있을까요?

상호작용 디자인 관점에서 무언가와 상호작용하는 방식을 세분화해야 합니다. 둥근 구멍에 네모난 못을 끼우느라 애쓰는 상황이 발생하면 안 되겠죠. 개발자로서 곧바로 공간 컴퓨팅 분야에 뛰어들고 연구하고 싶겠지만, 저는 초보 개발자의 태도로 천천히 접근할 것을 권장합니다. 시간을 충분히 들여 단계별로 올바른 기초를 구축하세요. 

Job Simulator를 포팅할 때를 예로 들면, 저희는 먼저 운영 체제 수준의 상호작용을 사용할 적절한 시점부터 고려했습니다. Apple Vision Pro 버전에서는 SwiftUI 창을 띄울 때 핀치를 사용할 시점을 논의했죠. Apple은 핀치의 사용 시점과 용도에 대해 매우 구체적인 가이드라인을 제공하기 때문에, 그 방식을 그대로 따랐습니다. 

창과 상호작용하고 있지 않은 경우에는 3D 오브젝트와 상호작용하고 있는 것입니다. 이때는 2D 모니터에서 보는 앱이라는 생각을 버리고 실제 오브젝트를 만드는 물리적인 제품 디자인처럼 생각해야 합니다. 현실의 오브젝트 디자인 원칙을 따라 직관적인 방식으로 오브젝트를 디자인해야 한다는 말이죠. 사용자 경험을 계속 테스트해야 한다는 점을 잊지 마시고, 중요한 것은 현실의 공간에서 실제 사용자가 기기를 사용해 실제로 게임을 테스트할 때라는 사실을 염두에 두세요. 직접 해 봐야 해요. 

핵심은 직접 기기를 들고 다른 사람과 상호작용해 보는 것입니다. 시간을 충분히 투자하여 수정 작업을 진행하는 것이 좋습니다. 그리고 플랫폼에 따라 경험이 다르게 느껴질 수 있습니다. 사양이 다를 수도 있으므로 유연하게 대처해야 합니다.

끝으로, VR의 특징이 탐색 방식에 있다는 점을 기억하세요. 저희 버전에서는 서랍이 닫혀 있는 책상에 앉아 서랍을 뒤지는 동작도 탐색에 포함됩니다. 각 오브젝트를 집어서 어떻게 작동하고 상호작용하는지 살펴보는 것도 정말 흥미롭죠. 플레이어가 이런 상호작용을 선호하는 주요 이유는 직접 사물을 집을 수 있고, 주변의 월드와 실제로 상호작용할 수 있으며, 월드가 어떤 느낌인지 확인해 볼 수 있기 때문입니다. 멀리 떨어져 있거나 손에 쥐고 있지 않은 물건과는 상호작용하도록 구현하지 않습니다.

공간 컴퓨팅에 관한 팁을 조금 더 세분화해서, Apple Vision Pro용 게임을 개발하거나 포팅하려는 개발자에게는 어떤 조언을 해 주시겠어요? Job Simulator를 포팅하며 이용 중이신 Unity의 visionOS 지원에 대해서는 어떻게 생각하시나요?

저희는 유니티 및 Apple과 긴밀하게 협력하며, 희망과 비전을 실현할 수 있는 최선의 방법을 찾기 위해 노력했습니다. 그 결과 Job Simulator를 Apple Vision Pro에서 매우 빨리 실행하게 되었고, iOS에서 빌드하는 작업과 유사하게 사용했습니다. 시간이 오래 걸렸던 작업은 완전한 몰입형 게임으로 만드는 일이었습니다. Unity에서 함수를 호출해 원하는 출력을 Apple 운영 체제에 전달해야 했습니다. 그렇게 하기 전에는 평평한 창이 계속 나타났고, 창을 닫으면 게임이 종료되는 문제가 반복되었죠. 

저희는 완전한 몰입형 게임을 개발하는 중이었고, 일반적인 컴퓨팅 운영 체제에서는 게임을 벗어난다는 개념이 생소했습니다. PC용으로 개발할 때는 플레이어가 X를 누르기만 하면 되기 때문에 애플리케이션을 종료하는 두 번째 단계를 구현한 적이 없습니다. Quest에 적용할 때도 게임은 실제로 실행 중이거나 그렇지 않은 두 가지 상태 중 하나였죠. 그런데 Apple Vision Pro 기기에서는 게임이 백그라운드에서도 실행될 수 있었고, 따라서 애플리케이션을 실질적으로 종료하는 방법을 고안해야만 했습니다.

조언을 드리자면, 항상 협조적이고 개방적인 태도를 유지하세요. 지금 내가 겪는 병목 현상을 나중에 누군가가 해결해 줄 수도 있습니다. 당사자뿐만 아니라 커뮤니티 전체에 좋은 일이죠. 저희는 토론 포럼에 매우 활발하게 참여하고 있으며, 적극적으로 유니티에 지원을 요청하거나 유니티와 소통하고 있습니다. 이를 통해 커뮤니티의 다른 구성원에게도 도움이 되는 솔루션을 찾을 수 있죠. 포럼에 버그 리포트를 제출하면서 비슷한 상황을 겪고 있는 다른 개발자들과 함께 작업하는 기회도 얻었습니다. 덕분에 학습 속도를 빠르게 높일 수 있었고, 개발에도 많은 도움을 받고 있어요.

이제 인터뷰를 마치며, 마지막으로 영감과 인사이트가 담긴 한 마디를 커뮤니티에 전해 주시죠.visionOS 개발과 관련해 얻은 교훈 중에서 다음 Apple Vision Pro 프로젝트에 적용할 수 있는 가장 가치 있는 교훈은 무엇인가요?

저희는 수년 동안 Windows PC와 Android, 이 두 생태계에 있었습니다. 다른 Apple 운영 체제와 비슷한 점이 많은 visionOS용 앱 개발을 시작하며, 저희가 어떤 부분에서 잘못된 가정을 하고 잘못된 방식으로 운영 체제에 의존했는지 알게 되었습니다. 더 잘할 수 있었던 부분도 알 수 있었죠. 

한 가지 더 명심해야 할 것은 Facetime과 화면 공유로 디버깅 등을 비롯해 현재 겪고 있는 상황을 다른 사람에게 공유하는 기능의 가치입니다. 애플리케이션이나 코드를 실행 중인 화면을 공유하면 다른 사람들이 상황을 정확하게 볼 수 있죠. 다른 헤드셋을 사용할 때는 이 기능을 사용하기 매우 어렵지만, Apple Vision Pro를 사용하면 손쉽게 공유할 수 있습니다. 이것이 제가 드리는 가장 유용한 팁입니다.

추가 정보를 원하시면 새로 공개된 2024 유니티 게임 업계 보고서를 읽고 전문 크리에이터가 올해의 주요 게임 개발 트렌드에 관해 이야기하는 동영상 재생 목록을 확인해 보세요. 

Apple Vision Pro에 관한 유니티의 지원을 살펴보고 싶다면, AR/VR/XR 토론 포럼에서 다른 개발자들로부터 Apple Vision Pro용 앱 개발에 관한 팁을 얻고 피드백을 공유할 수 있습니다.