메타 퀘스트 3, 애플 비전 프로, 레이밴 스마트 글래스가 시장에 풀린 시대다. 하지만 여전히 사람들은 가상현실(VR), 증강현실(AR), 혼합현실(MR), 확장현실(XR)의 제대로 된 유행은 오지 않았다고 평가한다. 심지어 저 4개 단어의 구분조차 명확히 아는 사람이 적은 게 현실이다.

그런 의미에서 혼합현실에 대해 너무나도 명쾌한 진단을 내려준 이번 강연은, GDC 2024 최고의 강연 반열에 올라도 되는 수준이었다. 많은 발전을 거쳤음에도 기기들은 여전히 불편하고, MR 시장에는 킬러 콘텐츠라고 불릴 타이틀의 존재 자체가 없는 상황에 가깝지만, 강연자는 MR의 시대가 올 것이라 예견했다.

흥미는 가져도 VR, MR 시장 자체에 큰 기대를 걸진 않았던 기자조차도 이번 강연의 내용을 듣고 생각이 조금 바뀌었다. 그렇다, 답은 먼 곳에 있지 않을 수도 있다. 이 장르는 특히나 '백문이 불여일견'이기에, 기사에 사진이 꽤 많음을 미리 예고한다. /미국 샌프란시스코=디스이즈게임 김승준 기자

셸 게임즈 대표 제시 셸. 메타 후원 강연이지만 그는 메타 소속이 아니다.(그만큼 MR 시장에서 인지도 있는 인물이다.)

기자의 양 옆에 앉은 사람들은 입을 모아 그의 강연은 들을만한 가치가 있다고 말을 했다.

처음에는 반신반의 했지만, 왜 그런 말이 나왔는지 금방 알게 됐다.

# 혼합현실(MR)은 가상현실(VR)과 다르다!

셸은 자신의 VR 경험이 그리 유쾌하지 않았던 몇몇 사례를 들며, 사람들이 종종 "그 시장 괜찮은 거 맞냐?"고 묻는 이유를 알 것도 같다고 말했다. 하지만 VR 헤드셋 판매량은 천 만 단위 이상으로 늘어왔고, 새로운 기술은 빠르게 등장하고 있다.

그는 '존재(Presence)'의 중요성에 대해 역설했다. VR 애니메이션 <헨리>라는 작품의 예시를 들었다. 고슴도치 주인공은 자신의 생일에 아무도 오지 앉아 슬퍼하게 된다. 이때 그가 했던 말. "나, 여기 너랑 같이 있는데?"

이번에는 정반대의 예시를 들었다. 콘서트장에서 가수를 촬영하며 휴대폰 화면만 바라보는 당신은 콘서트를 직관한다고 말할 수 있을까?

VR, AR, MR을 모두 포함하는 개념인 확장현실(XR). 그는 '존재'가 중요하다 말한다.

"고슴도치야 네 앞에 내가 있잖아!"라고 말하게 되는 순간이나

핸드폰만 보는 콘서트장 풍경에는 무언가가 결여되어 있다.

가상현실(VR)은 가상의 세계인 완전히 다른 세계를 시각적으로 보여준다. 그 안에는 가상의 물건들이 있고, 우리는 컨트롤러 등을 통해 그 세계와 상호작용한다. 동화 속 세계에서 마녀를 쓰러트리고 왔다면 그것은 가상현실인 것이다.

반면, 혼합현실(MR)은 현실의 공간 위에 가상의 대상을 띄운다. 당신을 갑자기 이세계로 보내버렸다면 그건 VR이지 MR이 아니다. 바꿔 말하면, MR은 '여기 이 공간'을 벗어날 수 없다.

VR과 MR이 겹치는 영역은 가상의 사물과 상호작용한다는 개념 뿐이다. VR은 가상의 세계와 가상의 사물들 사이에 '내'가 침범한 모양새에 가깝고, MR은 현실의 세계와 나 사이에 '가상의 대상'이 침범한 상황에 가깝다.

결국, MR에서 중요한 것은 '여기 이 공간'을 잘 활용하는 능력이다.

VR과 MR의 차이는 간단 명료하게 해결됐다.

공간을 파악하고

그 위에서 가상의 펫과 상호작용하는 MR의 예시.

증강현실(AR) 게임인 <포켓몬 GO> 플레이를 떠올려보자.

포켓몬을 카메라 너머 사물 위에 있는 것처럼 앵글을 맞춰본 경험이 있을 것이다.

혼합현실(MR)에 가까운 경험을 하고 싶어한 것이다.

# 킬러 콘텐츠가 없는데?

VR, AR, MR 모두를 아우르는 확장현실(XR) 시장은 성장하고 있다. 하지만, 아직 성장의 시작 지점에 있다는 것이 문제다. 더 큰 성장을 이뤄내려면 '킬러 콘텐츠'가 필요하다.

VR, AR 시장에는 그나마 게임이라는 킬러 콘텐츠가 있었지만, MR을 대표하는 콘텐츠는 아직 전무한 상황에 가깝다.

XR의 현주소

1981년 게임기와 PC의 태동기를 기억해보자. 가격과 목적성이 다른 두 기기는 그 후 큰 성장을 경험했다.

메타 퀘스트 3와 애플 비전 프로는 어떠한가. 역시나 가격과 주요 사용처가 다른 기기다.

사무용 컴퓨터는 스프레드 시트를 만나 성장했고, PC는 인터넷을 통해 성공했다.

VR은 게임과 함께 커가고 있지만, MR은 어떠한가? MR 게임 아는 이름 있으신가?

# 미래는 먼 곳에 있지 않다

그는 애플 비전 프로를 활용하며 공중에 창을 여러 개 띄워두고 작업하는 것의 효율성에 의문을 표했다. 결국 많이 보는 화면은 한 두 개에 그치고, 돌고 돌아 그 기기로 영상을 보거나 하지 않느냐는 것. MR 시장의 미래가 3D 디자인에 있다는 의견도 마찬가지였다. 사람과 비슷한 사이즈(또는 비슷하게 변환한 사이즈)에서는 유리할 수 있으나, 디자인의 영역이 넓다는 것을 감안하면 쉽지 않아 보인다고 한다.

학습적 활용에 대해서도 기대하지 않는다고 말했다. 학교라는 환경이 새로운 학습 기기를 도입함에 있어, 얼마나 오랜 시간이 걸렸는지 생각해보라는 것이다.

효율적인 작업 환경인가?

3D 디자인도

학습 도구도 MR의 미래가 아니라고 봤다.

그는 VR과 마찬가지로 게임이 MR 시장을 주도할 것이라 봤다. 그러나 단순한 게임이 아니다. 그는 꽤 구체적인 예시를 들었다.

4명의 플레이어가 벽 너머로 서로의 공간을 투영해 인접한 방에 있는 것처럼 느끼는 MR 게임에서, 일종의 폭탄의 역할을 하는 가상의 '뜨거운 감자'를 상대방 공간에 던지는 게임이다. 이 게임에서 감자를 막을 수 있는 건 자신의 몸과 자신의 공간 안에 있는 가구 뿐이다. 가구 뒤나 아래로 숨으며 게임을 하게 되는 모양새다.

게임이 MR 시장을 키울 것이다. 그렇다면 어떤 게임이 MR 시장을 키울까?

4명의 플레이어가 협동을 시작하는 모습이다. '나'는 '내 방'에 있다.

'내 방'의 벽을 활용해 상대방의 공간들과 인접한 느낌을 줬다.

감자 던지기 시작. '내 방'의 '가구'와 '내 몸'이 감자를 막을 유일한 수단이다.

결국 아이처럼 숨고 뛰어야 하는데...

그는 "아이처럼 숨고 뛰는 게임은 아이들이 하면 된다"고 말했다. "게임 업계는 아이들을 의미 있는 소비자로 존중하는 것에 인색한 편"이라 설명하며, "<로블록스> 같은 게임들이 애들 게임 취급을 받다가 시장이 커지니 뒤늦게 인정하는 모습을 본 기억이 있지 않느냐"고 물었다.

그렇다, 아이들이 좋아 할 게임은 아이들이 하면 된다.

우리는 아이들을 게임의 고객으로서 제대로 존중하고 있는가?

그가 두 번째로 제시한 킬러 콘텐츠 재목은 새로운 장르였다. '적응형 실내 스토리텔링'이라 명명한 게임은 일종의 가상 상황극에 가깝다. 방 안에 있는 당신에게 '실제 방문의 방향'에서 노크 소리가 들린다. '가상의 인물'이 들어온다. 당신에게 말을 건다. 당신의 가구를 만지고, 가상의 물건들을 적절히 내밀며, 진짜처럼 대화한다.

또 다른 콘텐츠는 눈과 눈을 마주보는 '소셜 텔레프레젠스'였다. MR 버전 '줌'에 가깝다고 보면 된다. 눈 앞에 통화(?)하는 상대를 완전히 띄우는 것이다. 그런데, VR 헤드셋을 쓴 채로 서로의 얼굴을 보는 건 너무 위화감이 들지 않냐고?

앞서 언급한 진짜 같은 가상의 인물이나, 진짜처럼 띄워진 통화 상대, 헤드셋을 쓰지 않은 맨 얼굴처럼 가상의 화면을 덧씌우는 기술 등은 모두 AI(인공지능)을 적절히 활용해야 하는 영역이다. 하지만, 그런 미래는 생각보다 멀리 있지 않다. 어쩌면 우리는 빠른 시일 안에 MR을 통해 새로운 시장, 새로운 장르, 새로운 공간 해석에 진입할지도 모른다.