기사검색

[글로벌 특허 브리핑⑨] 가상객체 증강현실(AR)

가 -가 +

특허뉴스 박진석 기자
기사입력 2019/06/27 [19:22]

 

 

특허는 시장과 기업의 미래를 보여주는 창이다. 주요 기업들이 최근 사들였거나 등록 또는 자체 인용한 특허가 무엇이고, 또 몇 개나 되는지 꼽아보면 해당 기업이 조만간 내놓을 신제품과 강화될 기능, 추진할 인수합병(M&A) 등을 예측할 수 있다. IP타깃이 발간한 핵심특허 브리핑보고서를 기반으로 글로벌 기술 트렌드를 살펴본다. <편집자>

 

 

Apple 자율차를 위한 증강현실 디스플레이

 

2016923일에 가출원하고(62/399,140), 2017922일에 정식 출원하고(15/713,421), 2018329일 출원서가 공개됐다(20180089900)19). 이 특허출원서는 최근에 출원했다는 점과 Apple이 자율차를 개발하고 있다는 점에서 현실화할 가능성이 매우 높다.

 

▲ Apple 자율차를 위한 증강현실 디스플레이 특허     © 특허뉴스

 

VR은 사용자로 하여금 인공지능 환경과 상호작용 경험을 가능토록 하는데 예를 들면 실제로 가상환경에서 물리적인 느낌을 받게 하는 것이다. 구체적인 예를 들어 입체장면(streoscopic scenes)을 사용자에게 디스플레이 해주어 깊이 있는 환상(illusion of depth)을 체험하도록 하고, 동시에 컴퓨터는 콘텐츠를 리얼타임으로 장면을 바꾸어 주면서 장면 내에서 사용자가 움직이는 환상을 제공하는 것이다. 비슷하게 AR은 물리적인 환경에 가상의 이미지를 겹쳐 보여줌으로써 생산성을 높이는 것이다.

 

자동차를 탄 승객들은 자동차에서 디바이스를 사용해 작업을 할 경우 자동차의 움직임에 따라 멀미(motion sickness)를 야기 시킬 수 있다.

이때 VR 시스템은 승객이 경험하는 물리적인 움직임과 매치되는 시각적인 큐(자극, visual cues)를 증강 혹은 가상 뷰로(virtual views) 제공할 수 있다. 예를 들어 VR 시스템은 버추얼 콘텐츠를 투영해 그 콘텐츠가 멀리 떨어진 객체라 할지라도 실제 외부 환경에서 안정화되고 고정된 것처럼 보이게 할 수 있다. 그러므로 VR 시스템은 생산성을 높여 줄 수 있는데, 예를 들어 승객들은 멀미 없이 자동차를 타고 작업()을 할 수 있기 때문이다. 또한 VR 시스템은 자동차의 가속도와 움직임을 가상 경험의 가속도와 움직임과 매치시킴으로써 움직이는 자동차 안에서 버추얼 경험을 고양시킬 수 있다.

 

자동차 안에서 HMD(Head mounted device)를 착용한 승객을 포함하는 VR 시스템이 가능하다. 3D 버추얼 뷰 내의 서로 다른 깊이(depths)와 거리(distances)에 있는 버추얼 콘텐츠는 두 개의 이미지 안에서 좌우로 이동한다. 이 때 콘트롤러와 HMD와 사용자 디바이스는 연결되어 있고, 사용자 디바이스의 출력은 콘트롤러로 보내지고, 그러면 버추얼 콘텐츠가 생성되고, 그 다음 버추얼 콘텐츠의 프레임(frames)HMD로 제공되어 승객이 HMD를 통해 보는 것이다.

 

이때 만약 리얼 환경에 투영되면 버추얼 콘텐츠는 자동차 앞의 수 미터 거리에서 고정된 것처럼 보이고, 만약 버추얼 환경에 투영되면 승객 앞에 고정된 것처럼 보여, 어느 경우이나 멀미를 일으키지 않는다는 것이다.

 

승객이 HMD 착용 없이 똑같은 버추얼 콘텐츠를 프로젝터를 통해 자동차 유리창으로 투영해 승객이 보면서 사용자 디바이스를 이용해 멀미 없이 작업()을 하는 것도 가능하다. 이때 투영의 해상도나 질을 높이기 위해 창문은 파장 가이드 기술 혹은 홀로그래픽 기술 등을 포함시킬 수 있다.

 

자동차 안의 실제 물리적인 시스템과 버추얼 시스템이 융합해 승객에게 동조화 물리 효과(Synchronized physical effects)를 제공하는 것도 가능하다. VR 콘트롤러와 자동차 안의 물리적인 시스템들은 신호를 주고받는다. 따라서 승객들은 동조화 물리 효과를 체험할 수 있는데, 예를 들어 가속이 되면 의자가 뒤로 제처지고 속도가 줄면 앞으로 제처진다. 가속에 따라 중력을 느끼는 것이다. 여기에 버추얼 콘텐츠의 내용에 따라 공조시스템이 동조화 작동할 수 있고 오디오시스템도 동조화 배경 음악 등을 제공할 있다.

 

VR 시스템에서 제공하는 승객과 옆에 앉은 가상의 저자 혹은 토크 쇼 진행자도 상상해 볼 수 있다. 승객은 HMD를 쓰고 가상의 저자를 불러내 책에 관한 내용을 토론할 수도 있고 책을 읽어 줄 수도 있다. 가상의 토크 쇼 진행자와 토크 쇼를 진행할 수도 있다.

 

PayPal, 증강현실(AR) 쇼핑시스템

 

3차원 AR를 기반으로 한 상세한 정보를 통해 구매를 결정할 수 있는 시스템으로, 증강현실 기기를 통해 클라이언트 장치로부터 이미지 데이터를 요청한 후 해당 객체에 대한 증강 현실 화면을 만들어준다. 2차원에 비해 정보 제공량이 풍부하고, 입체적으로 세밀한 정보를 제공함으로써 소비자 선택에 도움을 줄 수 있다.

 

소비자가 AR 안경을 쓰고 상점의 물건을 바라보면 가격과 물품 정보, 결제 옵션, 반품 정책 등의 내용이 눈앞에 뜨는 식이다. AR 안경은 시스템에 저장된 공급업체와 소비자 정보를 사용하여 온라인 구매 단계까지 안내한다.

 

판촉 자료, 권장 사항, 제품을 구입할 위치 및 제품과 관련된 지침을 포함해 식별된 객체의 증강현실을 생성하는 방법을 제시한다. 이 기술은 사용자가 구매자와 판매자, 권장 사항 및 제품 자습서와 관련된 제품 및 서비스 리뷰 및 목록을 볼 수 있는 증강현실을 만들어 제품과 관련된 정보에 액세스할 수 있도록 한다.

 

AR를 통한 쇼핑의 발전은 기존 인터넷 쇼핑몰에서 접하지 못했던 새로운 경험을 제공한다. 이용자가 눈앞에 존재하는 다양한 제품이나 서비스에 대한 개별 정보를 확인한 뒤 바로 구매가 가능해진다.

 

▲ PayPal, 증강현실(AR) 쇼핑시스템 특허     © 특허뉴스

 

페이팔은 지난해 정보 결정을 위한 AR 활용특허도 확보했다. 이 시스템은 현실 세계에서 AR 카메라로 상품들을 비춰 각각의 정보들을 확인한 뒤, ‘포인트 앤 클릭방식으로 간편하게 결제가 진행되는 방식이다.

 

특히, 3차원 현실 속 다양한 오브젝트들 중 특정 객체들을 구별해내고, 즉각적으로 결제를 진행할 수 있다는 것이 강점이다. 향후 이와 같은 ‘AR 온라인 결제 방식NFC(근거리 무선통신)방식의 결제를 대체할 가능성이 높을 것으로 전망된다.

 

Snapchat, 증강현실(AR)용 안경

 

안경으로 구현하는 증강현실 특허로 현실에 증강현실을 입히는 기술이다. 이미지 기반 위치 추적을 활용한 증강현실 시스템 및 방법을 설명한다. 거대한 이미지 데이터베이스를 구축하고 사용자가 찾는 곳을 감지해 미리보기 위해 배치한 디지털 이미지를 삽입하는 방식이다. 가상 물체앞에 실제 물체 또는 다른 가상 물체가 나타나면 기존 가상 물체는 가려진다.

 

예를 들어, 공원에서 휴대폰으로 사진을 찍어 보내면 위치를 ​​알 수 있다. 사전에 입수한 데이터 세트와 사진을 일치시켜 주변 상황을 파악한다. 이를 기반으로 사용자가 위치한 공간에 대한 정보를 수집하고 프로그래밍 된 방식으로 사물을 배치해 증강현실을 구현한다. 따라서 단순한 가상 환경 구현은 물론이고 거대한 공룡이 현실 공간에 뛰어 들어온 것처럼 보여줄 수도 있다.

 

▲ Snapchat, 증강현실(AR)용 안경 특허     © 특허뉴스

 

특허는 사용자가 보는 현실을 인식하기 위해 카메라 두 대와 다양한 센서 장착도 제안한다. 수많은 사진을 찍어 사용자 위치와 일치시키는 데이터베이스를 생성하는 프로세스도 다루고 있다. 또한 증강현실 헬멧, 바이저 또는 안경에서 찍은 사진을 AR 이미지로 구현한다.

 

스냅챗은 지난 2016년에 안경형 단말기스펙터클스(Spectacles)’를 출시했다. 스펙터클스는 소형 카메라가 장착돼 영상을 촬영하고 스냅챗에 바로 업로드할 수 있는 기기다.

 

Apple, 가상 객체 증강현실(AR)

 

컴퓨터로 만든 가상객체를 현실 이미지와 병합하는 데 중점을 둔 기술이다. 주어진 환경에 대한 실시간 비디오 데이터에 가상 이미지를 겹치게 하려면 정확한 위치 지정은 물론 이미지 크기 조정 및 다양한 기술적 고려가 필요하다.

 

특허는 카메라 또는 장치가 실제 환경의 2차원 이미지를 포착할 때 적어도 하나의 객체 또는 이미지 내 컴포넌트에 대한 정확한 위치를 확인하도록 요구한다. 또 레이더, 카메라 등을 사용해 바닥과 벽면 위치를 비롯해 주변 3차원 이미지와 공간 데이터를 수집해 활용한다.

 

다음으로, 시스템은 2차원 환경의 주어진 영역을 분할하거나 지정한다. 세분화 데이터는 실제 환경의 선택된 부분을 제거하는 동시에 가상객체를 원하는 이미지에 병합하는 데 사용된다. 이 방법은 사용자가 객체를 선택하면 가상 및 실제 이미지를 합쳐 사실적으로 표현해 준다.

 

▲ Apple, 가상 객체 증강현실(AR) 특허     © 특허뉴스

 

이 특허를 응용할 수 있는 분야는 가구 배치가 대표적이다. AR 데이터를 이용해 의자와 테이블을 실제 움직이지 않고 물건을 가상으로 배치할 수 있다. 가구를 옮기기 전에도 가구 배치 후 모습을 미리 확인할 수 있는 것이다. 또 실제 물건을 선택해 제거할 수도 있다. 깊이와 기하학 등 여러 요소를 세분화해 기술적 난점을 극복했다.

 

가구 배치 외에 차량 내비게이션 시스템에도 적용할 수 있다. Apple은 현재 AR 기술을 자율주행차에 적용하기 위해 내비게이션 시스템을 개발 중이다. AppleAR 특허 출원은 201510월에 처음 시작됐다. Apple은 조만간 일부 데모 버전의 AR 시스템을 출시할 계획이다.

 

4차 산업혁명은 초연결·초지능·초실감정보통신기술과 다양한 과학기술의 융합에 기반한 차세대 산업혁명으로, 핵심은 O2O(Online 2 Offline)융합이며, 이러한 O2O 융합의 최종 결정판이 가상·증강현실이다. 가상·증강현실은 사용자와의 접점에 있는 기술로 시간과 공간 그리고 신체적/상황적 제약을 극복하고 언제 어디서나 현실적 경험의 제공이 가능해 사용자에게 초융합적 가치를 제공한다. 이를 통해 온라인과 오프라인의 경계를 허물고 글로벌 사용자들과 디지털 공감과 소통함으로써 4차산업혁명의 촉진과 확산을 이끌 핵심기술로 부상했다.

트위터 페이스북 카카오톡 카카오스토리 band naver URL복사

최신기사

URL 복사
x
  • 위에의 URL을 누르면 복사하실수 있습니다.

PC버전 맨위로

Copyright ⓒ 특허뉴스. All rights reserved.