Search Unity

Unity와 Microsoft HoloLens 2를 이용한 혼합 현실 – 토요타자동차의 사례

, 9월 8, 2020

세계 최대 규모의 자동차 회사 중 하나인 토요타는 Unity와 HoloLens 2를 사용하여 프로세스를 간소화하고 이해도를 높이며 시간을 절약하고 있습니다.

토요타자동차의 핵심 원칙 중 하나는 카이젠(지속적인 개선)입니다. 카이젠이 추구하는 목표는 생산 설비와 작업 절차 모두에서 최고의 품질에 도달하고 효율성을 높이며 낭비를 없애는 것입니다.

토요타는 이 목표를 달성하고자 디지털 엔지니어링에 3D 데이터를 조기 도입하고 이후에 실시간 3D 기술도 도입하게 되었습니다. 토요타는 현재 자동차 제조 전반에서 유니티의 실시간 3D 개발 플랫폼을 사용합니다.

먼저 Pixyz를 사용하여 차량 데이터를 Unity로 가져옵니다. 이 과정에서 토요타의 방대한 컴퓨터 지원 설계(CAD) 어셈블리가 실시간 3D에 적합한 경량형 콘텐츠로 변환됩니다.

그런 다음 Unity로 맞춤화된 애플리케이션을 개발하여 다양한 플랫폼에 배포합니다. 예를 들어 가상 현실(VR)에서 교육을 진행하거나, 토요타자동차의 고급차 브랜드인 렉서스의 사실적인 차량 컨피규레이터를 제작하거나, HoloLens를 통해 차량 점검 워크플로를 며칠에서 몇 시간으로 단축합니다.

HoloLens 2와 Unity를 사용하여 지속적으로 개선

토요타는 자동차 생산 프로세스 전반에서 Unity를 사용하여 혼합 현실 애플리케이션을 제작하고 Microsoft 기기에 배포해 왔습니다. 따라서 Microsoft의 차세대 웨어러블 홀로그래픽 컴퓨터인 HoloLens 2를 통해 혼합 현실로 실현할 수 있는 기능을 한 단계 확장하고자 했습니다.

아래 영상에서는 토요타의 자동차 디지털 엔지니어링을 위한 혼합 현실 프로젝트를 맡은 카야노 고이치가 진행 중인 POC(Proof of Concept)를 몇 가지 소개합니다. 토요타가 유니티와 Microsoft의 새로운 혼합 현실 기기를 이용하여 디자인, 제조, 현장 서비스의 다양한 측면에서 어떻게 카이젠을 실현하고 있는지 확인해 보시기 바랍니다.

혼합 현실과 토요타의 카이젠

자동차 디지털 엔지니어링을 위한 혼합 현실 프로젝트를 이끌고 있는 카야노 고이치가 HoloLens 2를 착용한 모습

아래에서는 토요타가 혼합 현실을 사용하여 시간과 비용을 절감하고 효율성을 높이고 있는 몇 가지 사례를 소개합니다.

전산유체역학(CFD) 분석에 활용하여 디자인 검토 개선

혼합 현실을 활용하면 기존의 까다로운 CFD 분석이 훨씬 간편해집니다. 토요타는 Unity와 HoloLens 2를 사용하여 차량의 CFD 분석을 실시간으로 포착 및 표시하여 디자인 검토 프로세스를 간소화합니다.

사용자는 정지된 차량을 살펴보며 차량의 디자인이 기체 역학에 어떤 영향을 미치는지 시뮬레이션하고 분석할 수 있습니다. 토요타 팀은 다수의 HoloLens 2 기기를 통해 서로의 의견을 공유하여 검토 과정에서 소통과 협업의 효율성을 높입니다.

토요타가 Unity와 HoloLens 2를 사용하여 차량의 CFD 분석을 실시간으로 포착 및 표시하는 모습

차량 기능 이해도 향상

토요타 팀은 Microsoft의 Spectator View를 사용하여 HoloLens 2 사용자의 시점을 모바일 기기로 확인할 수 있습니다.

차량 조립이 완료된 후에는 차량 내부 장치의 기능을 설명하기 어려우며, 차량이 움직여야 확인할 수 있는 기능의 경우에는 더욱 그러합니다.

하지만 HoloLens 2와 Unity를 사용하면 ‘움직이는’ 차량을 둘러보고 내부 구조를 살펴볼 수 있기 때문에 한때 불가능하다고 여겨졌던 작업을 이제 쉽고 안전하게 수행할 수 있습니다.

혼합 현실을 통해 사용자는 시동을 걸 때와 가속 및 감속할 때 차량이 어떻게 작동하는지 확인 가능

머신러닝을 사용하여 점검 시 인적 오류 감소

숙련된 테크니션이라 하더라도 인적 오류의 가능성은 언제나 존재합니다. 냉각수 뚜껑이 제대로 닫히지 않은 것과 같은 단순한 오류라도 즉시 발견하고 수정하지 않으면 심각한 결과를 불러올 수 있습니다.

머신러닝과 Unity, HoloLens 2를 사용하면 엔지니어는 일반적인 점검으로 놓치기 쉬운 문제를 발견하고 조치를 취할 수 있습니다.

토요타 팀은 인간의 눈으로 놓치기 쉬운 실수를 혼합 현실로 쉽게 잡아냅니다. 여기에서는 HoloLens 2가 유면계가 잘못 설치된 것을 감지하고 해당 내용을 빨간 글씨로 표시합니다.

이전에는 인적 오류를 줄이기 위해 많은 수고를 들였습니다. Microsoft Azure에서 단순한 실수를 인지하기 위한 머신러닝 모델을 학습시키는 과정에서 토요타 팀은 20,000장의 사진을 찍었고, 사진에 직접 주석을 다는 데 200시간을 소요했습니다.

수작업으로 주석을 다는 데는 시간이 많이 소요되었으며 토요타 팀은 AI 시스템이 오류를 정확하게 감지하도록 하기 위해 수만 장의 사진에 레이블을 지정해야 했습니다.

하지만 Unity를 사용한 결과, 차량과 내부 부품에 대한 3D 모델을 만들고, 3D 공간에서 모델의 위치를 다양하게 변경했으며, 레이블이 지정된 다량의 이미지를 자동으로 캡처하여 머신러닝 모델을 학습시킬 수 있었습니다.

Unity로 만든 가상의 토요타 모델

토요타는 Unity를 사용하여 자동으로 이미지를 캡처하고 태그를 지정하여 머신러닝 모델을 학습시킵니다. 이제 부품 장착 후에도 오류를 인식할 수 있습니다.

200시간이 소요되었던 기존의 워크플로 대신 이 방법을 사용하자, 자동으로 레이블된 이미지를 단 30분만에 필요한 만큼 만들 수 있어서 작업 속도가 400배나 빨라졌습니다. 또한 이 합성 데이터는 수작업으로 주석을 단 사진만큼 머신러닝 모델 학습에 효과적인 것으로 확인되었습니다. 이러한 시간과 비용의 절감은 카이젠의 모범 사례에 해당합니다.

현장 서비스 실수 감소

HoloLens 2로 전기 배선 시스템 점검

차량이 의도한 대로 작동하려면 전기 배선을 적절히 구성해야 합니다. 그러나 완성된 차량에서 커넥터 위치와 핀 배치를 점검하는 것은 매우 힘든 작업입니다.

토요타 팀은 이제 2D 다이어그램에 의존하는 대신 엔진, 도어, 대시보드, 및 기타 필요한 부분을 3차원 전기 배선 다이어그램으로 시각화할 수 있습니다. 이를 통해 토요타의 현장 서비스 엔지니어는 배선 시스템의 위치를 시각화하여 상황을 적절하게 파악하고 실제 부품을 분해하는 데 필요한 노력과 시간을 절감할 수 있습니다.

토요타의 현장 서비스 엔지니어는 차량 내부의 전기 배선 다이어그램 전체를 시각화할 있습니다.

토요타는 또한 아래의 두 가지 사용 사례에 Dynamics 365의 혼합 현실 애플리케이션을 활용했습니다.

현장 서비스에 원격 지원 도입

글로벌 기업인 토요타는 다양한 위치에서 작업 중인 현장 지원 엔지니어와 전문가가 소통할 수 있도록 해야 합니다. 이 과정은 수많은 난관을 초래하며 효과적인 협업과 교육을 저해합니다.

HoloLens 2와 Microsoft의 혼합 현실 원격 협업 도구인Dynamics 365 Remote Assist를 사용하면 2명 이상의 참여자가 어느 위치에서든 같은 화면을 공유하고 소통하며 협업할 수 있습니다. 이 솔루션을 통해 현장에 있지 않은 직원이 작업을 점검하고 현장 엔지니어를 교육 및 훈련할 수 있으며, 많은 시간과 비용을 절약하고 전체적인 성과를 개선할 수 있습니다.

토요타는 HoloLens 2와 Microsoft의 협업 도구를 사용하여 현장에 있지 않은 전문가를 엔지니어와 연결하여 원격으로 지원합니다.

현장 안내 애플리케이션을 더 쉽고 빠르게 제작

토요타의 서비스 엔지니어가 효과적으로 차량을 수리하려면 단계별 튜토리얼이 매우 중요하지만, 매뉴얼 제작에는 많은 시간과 리소스가 필요합니다. 과거에는 디지털 버전의 작업 절차 앱을 만들려면 최대 열흘이 걸렸으며 현장에 컴퓨터 그래픽 엔지니어가 있어야 했습니다.

하지만 Microsoft의 가상 훈련, 수행, 교육 솔루션인 Dynamics 365 Guides를 사용하면 같은 작업을 하루 만에, 즉 90% 더 빠르게 수행할 수 있습니다. 기본 교육을 받은 사람이라면 누구나 이 자동화된 프로세스를 통해 자세한 지침과 안내에 따라 필요한 애플리케이션을 제작할 수 있으므로 프로그래머는 더 중요한 작업에 집중할 수 있습니다.

Dynamics 365 Guides를 사용한 결과, 차량 수리 교육 콘텐츠를 제작하는 데 필요한 인당 시간이 90% 감소했습니다.

Unity를 이용한 HoloLens 2용 애플리케이션 개발에 활용할 수 있는 도구를 자세히 알아보세요.

Unity는 증강 현실 및 가상 현실 콘텐츠 제작 분야를 선도하는 플랫폼입니다. 지금 Unity Pro와 Pixyz를 구독하거나, 비즈니스를 위한 유니티의 솔루션에 대해 자세히 알아보세요.

블로그 포스팅은 유니티 테크놀로지스에서 제작했으며 토요타자동차는 포스팅의 내용에 대한 책임이 없습니다.

3 replies on “Unity와 Microsoft HoloLens 2를 이용한 혼합 현실 – 토요타자동차의 사례”

HoloLens 2 would be impossible without the technology incorporated by Microvision. They have the most advanced Lidar capabilities and are looking for a buyer to take over.

Hi,
Please drop me email, we would like to understand your tool and study the feasibility of your tools fitment for Tata motors VR project.

Comments are closed.