컨텍스트의 중요성: 증강 현실을 위한 크로스 도메인 데이터 매핑

본격적으로 AI의 시대가 왔지만, 몰입형 경험에 AI를 활용하는 방식은 아직 충분히 자리를 잡지 못했습니다. AI가 모든 문제의 해결책은 아니더라도, 차세대 증강 현실 경험을 구현하는 데 필요한 연결 고리를 제공하는 것은 확실합니다.

이러한 AI의 급성장을 고려하여 이번에는 AR(증강 현실) 경험 제작과 관련된 ‘컨텍스트’의 개념에 대해 이야기해 보고자 합니다. 컨텍스트란 도메인을 설명하는 파라미터의 컬렉션이며, 기계에서 처리 가능한 데이터로 인코딩할 수 있습니다. 도메인은 그야말로 무엇이든 될 수 있지만, AR 분야에는 물리, 가상, 인간이라는 세 가지 중요한 도메인이 존재합니다.

물리 도메인은 우리가 살고 있는 세계를 말합니다. 특정 위치에 대한 컨텍스트에는 세계 좌표(즉, 지리적 위치)나 환경 스캔 데이터, 사물의 위치, 날씨, 주변 이미지와 같이 특정 요구 사항에 대한 솔루션 생성을 지원하는 것과 관련된 모든 실제 파라미터가 포함될 수 있습니다.

가상 도메인에는 현실 세계의 위치와 유용한 상관 관계가 있는 모든 데이터가 포함됩니다. 정의가 다소 광범위하지만 원래 개념이 그렇습니다. AR 경험은 가치를 제공하는 데 복잡한 3D 에셋이나 모델을 필요로 하지 않습니다. 예를 들어 강우량 데이터나 매장 내 재고 위치 같은 모든 종류의 위치 메타데이터가 경험의 기반이 될 수 있습니다.

마지막으로 인간 도메인이란 기계가 이해할 수 있는 용어로 표현된 인간의 요구 사항으로 구성된 집합체를 말합니다. 이 도메인이 바로 AI의 출발점으로, NLP(자연어 처리) 및 GPT(생성형 사전 학습 변환기) 모델이 인간의 컨텍스트를 기계어로 변환하는 데 핵심적인 역할을 합니다. 인간 도메인에는 기계에서 생성된 데이터를 전달하는 방식도 포함됩니다.

도메인 컨텍스트를 생성하는 것은 비교적 간단한 작업입니다. 하지만 컴포넌트 간의 관계를 실제로 사용할 수 있도록 구현하는 것은 아주 까다롭습니다. 물리 좌표계와 가상 좌표계가 일치해야 하고, 디지털 트윈이 실제 세계의 최신 상태를 반영해야 하며, 인간의 설명을 학습 가능한 행동으로 매핑할 수 있어야 하는 등 다양한 요소를 고려해야 하기 때문입니다.

AI, 로보틱스, 사물 인터넷을 비롯하여 새로운 기술과 관련된 소프트웨어와 하드웨어는 모두 빠르게 발전하고 있습니다. 여러 표준(예: 상호호환성)과 베스트 프랙티스가 자리 잡을 때까지는 네트워크 기반 컴포넌트에 대한 설계 숙련도에 따라 그 구현, 실질적인 활용도와 호환성이 좌우될 것입니다. 하지만 일단 이 시스템을 설계하고 나면 산업, 소매, 일반적인 생산성 향상 등 모든 응용 분야에 대해 증강 현실 경험을 제작할 수 있는 일반화된 기반을 갖추게 됩니다.

AI를 통해 크로스 도메인 매핑을 구현하는 방법의 한 예로, 멀리 있는 사물을 가리키는 사람을 생각해 볼 수 있습니다. 여러 기술에서 이 물리 컨텍스트를 제공할 수 있지만, 제스처 자체에는 내포된 의미가 없으므로 해결해야 할 문제를 정의하는 데는 충분하지 않습니다. 이 동작은 이동 방향을 나타내는 것일 수도, 사물에 대한 궁금증을 표현하는 것일 수도 있습니다. 컨텍스트는 “저기로 어떻게 가야 하나요?” 같은 언어적 표현과 연관될 때 비로소 하나의 완전한 질문이 됩니다. 따라서 AI는 인간 컨텍스트 데이터의 도움을 받아 물리적 데이터를 처리함으로써 우리가 매일 고민하지 않고 수행하는 자연스러운 상호 작용을 ‘이해’하고 적절한 반응을 생성할 수 있습니다. 이러한 요청/응답의 투명성은 모든 형태의 AR 경험을 개선하고 있으며, 궁극적인 목표는 모두의 일상을 더 편하게 만드는 것입니다.

다양한 응용 분야에서 컨텍스트를 정의하는 방법의 몇 가지 예를 살펴보겠습니다. AI의 기본적인 역할은 인간 도메인 내에서 사용자 요청을 처리하고, 사용자의 요구를 예측하고, 관련 데이터를 활용하고, 사람과 기기 간의 커뮤니케이션을 촉진하는 것입니다.

방 도색: 공간을 도색하려는 사용자가 얼마나 많은 재료가 필요한지 알고자 합니다. 세부 사항: 공간을 측정하고 필요한 페인트의 양을 묻는 음성 명령을 내릴 수 있는 기기가 있습니다.

• 물리: 물리적 공간에 대한 Lidar 스캔
• 가상: 벽의 면적을 정확히 파악하기 위해 창문, 문, 벽을 포함한 장소를 물리적으로 스캔하고 이를 기반으로 바로 생성된 공간의 디지털 트윈
• 인간: 평방 피트와 페인트 한 통으로 바를 수 있는 표면적의 상관 관계

운동 경로 지정: 사용자가 일반적으로 이용하는 경로와는 다른 달리기 경로를 요청합니다. 세부 사항: 사용자에게는 사용자의 위치를 파악하고, 이전 경로의 기록이 저장되어 있으며, 시각적 정보를 투사할 수 있는 헤드셋이 있습니다.

• 물리: 사용자 위치, 이전 달리기 기록
• 가상: 산책로와 인도에 대한 정보를 제공하는 지역 지도
• 인간: 경로를 구성하는 요소를 파악하여 새로운 경로 계산

공항 최적화: 상황 인식과 자동화를 통해 운영 관리를 개선합니다. 사용자는 비행장에서의 활동을 안전하게 수행하기 위해 JIT(just-in-time) 알림을 필요로 합니다. 세부 사항: 사용자는 자신의 위치를 파악할 수 있는 손목 웨어러블 기기를 착용하고 있으며, 중앙 운영식 디지털 트윈에 데이터를 연결할 수 있습니다.

• 물리: 사용자, 항공기, 에셋, 실제 사물의 위치
• 가상: 시뮬레이션 예측, 내비게이션, 관심 지점의 위치, 지형 공간 처리를 지원하는 공항 디지털 트윈
• 사람: 임무, 과제, 주요 안전 목표에 대한 이해

관련 사례에서 알 수 있듯이, 실시간 3D의 가치는 단순히 인상적인 비주얼을 만들어 내는 데 그치지 않습니다. 실시간 3D는 크로스 도메인 컨텍스트를 처리하여 문제에 대한 공간 솔루션을 생성하기 위한 핵심 엔진입니다. 우리가 실제로 살고 있는 세상 역시 3D라는 점을 고려하면 실시간 3D가 핵심적인 역할을 하는 것은 당연합니다.

핵심 데이터 엔진인 Unity는 주로 게임 시장에서 널리 알려져 있기 때문에, 게임 이외의 사례에도 충분히 활용할 수 있다는 사실을 간과하는 경우가 많습니다. 웨어러블, 기기, AI 모델의 기술 발전으로 더 유용한 데이터를 많이 수집하게 되면서, 더욱 다양한 컨텍스트를 정의하고 결과적으로 보다 정확한 솔루션이 생성될 것입니다. Unity는 이러한 데이터를 수집하여 직장과 집에서의 생활 모두를 개선하는 경험을 제작하기 위한 기본 툴로 사용될 것입니다.

개발자 여러분이 만들어 낼 결과물이 기대됩니다. 이 블로그 게시물을 통해 차세대 경험을 구성하는 방법에 대한 아이디어를 얻으셨기를 바랍니다.

AI를 통해 몰입도 높은 경험을 제공하는 방법에 대한 더 많은 아이디어를 얻으려면 디지털 트윈의 잠재력을 확인해 보세요. Unity AI 베타 프로그램에 등록하는 것도 잊지 마세요.