UX(User Experience)란 유저가 프로덕트, 서비스에서 상호작용하거나 경험하는 것을 일컫는 말입니다. UX는 유저의 요구사항을 충족시키는 것이기 때문에 서비스를 개발할 때 굉장히 중요하게 다루는 요소라고 할 수 있는데요. 웹사이트에서는 보통 2D UI/UX가 적용된 경우가 많지만 VR/AR 환경은 3차원 공간에서의 환경이다 보니, 이러한 환경의 특성을 살릴 수 있는 공간 중심의 메타버스의 경우에는 아직까지 널리 통용되는 명확한 가이드라인이나 규칙이 정해지지 않은 상태입니다. 그렇기에 이러한 환경의 특성을 살릴 수 있는 새로운 UI/UX 가이드라인이 필요성이 제기됩니다. 오늘은 이 중에서도 AR과 VR을 혼합한 MR 환경에서 서로 다른 물리 공간에 필요한 MR 인터페이스를 자동으로 만들어주는 연구에 대해 알아보고자 합니다.
위치와 가상 인터페이스 요소를 포함한 현재의 MR layout은 유저가 다른 방으로 이동하거나 테스크를 바꿀 때마다 수동으로 인터페이스들을 옮겨야 합니다. 이 과정은 꽤나 시간이 소요되는 지루한 과정이고, 유저의 편의를 위해 해당 과정들은 MR 시스템 내에서 자동화가 되어야 합니다.
Augemented Perception Lab 연구실에서는 조합론적 최적화 문제로 수식화를 하고, 새로운 환경에서 가상 인터페이스 요소를 어디에 놓을 것인지를 자동으로 결정하는데 기여를 했습니다. 이 연구를 수행하기 위해 형성평가를 진행하였는데요. 두 가지 시나리오로 나뉜 이 실험은 12명의 참여자들이 서로 다른 공간에 대한 MR 레이아웃을 수동적으로 디자인하는 내용으로 구성되었습니다.
첫 번째는 “생산성” 시나리오로, 자신이 대학원생이라 가정하고 특정 주제에 대한 논문을 찾는 임무를 수행하는 것입니다. 이 시나리오에서는 웹사이트, 문서, 이미지, 3D 모델 등의 가상 인터페이스를 포함하고 있습니다. 두 번째는 “레저” 시나리오로, 동료들과 채팅을 하면서 뉴스를 읽는 것입니다. 참여자들은 이러한 가상 요소들이 어디에 놓여서 상호작용 할 것이라고 기대하는지 결정하지만 실제로 인터렉션을 수행하지는 않았습니다.
참여자들은 총 두 가지 작업을 수행하였는데, 첫 번째는 가상 요소와 물리 오브젝트 간에 의미적인 연관을 고려하여 결정하는 것이었습니다. 이어 두 번째로는 원래 레이아웃과 변경된 레이아웃 간의 일관성을 파악하고, 전체 레이아웃이 잘 보이는지 파악하는 것이었습니다.
피험자들은 작업을 수행하면서 다른 사람들이 속해있는 공간은 피해서 선택하는 경향이 있었습니다. 또한 가상요소와 실제 물리 공간 간의 관계성을 생각해서 가상요소를 배치했습니다. 예를 들어 “생산성” 시나리오에서 두 참여자는 침대를 ‘쉬어야 하는 공간’으로 인식해 위에 있는 생산성과 연관된 요소들을 놓지 않는다고 말했습니다. 또한 책과 같은 용어에 해당하는 pdf 문서앱은 보통 노트북 옆에 놓는 경우가 많았고, 뮤직 스트리밍 앱은 레이아웃의 왼쪽 위에 놓이는 경우가 많았습니다.
이러한 실험을 바탕으로 연구팀은 타겟 물리환경을 나타내는 환경 매개변수들과 가상요소들을 특징화한 매개변수들을 바탕으로 모델을 구현해 자동으로 UI 를 매핑해주는 해결책을 제안했습니다.
실험 결과 자동으로 UI를 매핑해주는 접근법이 유저에 의해 생성된 인터페이스보다 수동적인 변경을 33% 줄였다고 합니다. 하지만 아직까지 가상인터페이스와 실제 물리 오브젝트 간의 의미론적 관계들이 충분하지 않거나 혼란을 야기할 수 있다는 한계점을 가지고 있습니다. 또한 현재에는 물리환경을 구성하기 위한 인풋 변수들을 수동적으로 추출해내지만, 미래에는 이미지에 있는 오브젝트 등을 자동으로 추출해내는 Mask R-CNN 기법을 활용하여 인풋 변수들을 자동적으로 추출해내는 것이 가능하리라는 전망입니다.
(작성자 : 이서윤)
참고문헌