​그 많던 가상 인간들, 지금 어디에? "신기술 만나 꽃단장 중"

관심 시든 가상 인간, 초거대 AI 등 신기술로 고도화

챗GPT 접목하고 동작도 AI가 생성... 자연스러움 더해

한계로 지적된 실시간 소통 가능... 도입 범위 늘 전망

메타버스 만나면 활동 무대도 넓어져... 인프라는 필수

2021년 등장해 다양한 분야 광고 모델로 활동 중인 가상 인간 '로지'. [사진=로커스엑스]

2021년에 광고계를 놀라게 한 신인이 등장했다. 나이는 영원한 22살. 키 171㎝에 누구나 호감을 가질 만한 외모다. 여행, 서핑, 스케이트보드, 프리다이빙 등 취미 활동을 즐긴다. 가상 인간(버추얼 휴먼 혹은 디지털 휴먼) '로지'가 그 주인공이다.

로지는 사회관계망서비스(SNS)를 통해 소통하며 MZ세대 사이에 인지도를 쌓아 금융, 자동차, 뷰티, 패션 등 다양한 광고 모델로 활동했고 이후 가수로도 데뷔하며 활동 무대를 넓혔다. 그가 광고 모델로 처음 출연했을 당시 가상 인간인지, 실제 인물인지 알아차리지 못했다는 소비자 반응도 많았다.

로지의 인기에 힘입어 많은 기업이 앞다투며 가상 인간을 선보였다. 이솔(네이버), 한나(한화생명), 나수아(온마인드), 한유아(스마일게이트), 루시(롯데홈쇼핑) 등 수많은 가상 인간이 온라인상에서 인플루언서로서 활동하고 연예계에도 데뷔했다.

다만 최근 이들에 대한 관심은 상대적으로 줄었다. 구글 트렌드에 따르면 지난 2년간 가상 인간이나 가상 인플루언서 등 키워드에 대한 국내 관심도는 지속해서 떨어지고 있다. 해당 키워드 검색량은 지난해 2월 정점을 찍었으나 1년 만인 올해 2월에는 3분의 1 수준으로 줄었다.

가장 큰 원인으로는 식상함이 꼽힌다. 등장 당시 가상 세계(메타버스) 열풍과 맞물리며 디지털 시대 '신인류'라는 평가를 받았지만 우후죽순 쏟아진 가상 인간은 기업의 일시적인 화제 끌기에 그치는 사례도 많았다. 대중과 진정성 있는 소통도 하기 어렵다. SNS를 통해 대중에게 자기 활동 내용을 알리지만 이는 결국 가상 인간 뒤에 있는 관리자가 남긴 게시물에 불과하다.

물론 가상 인간에 대한 투자나 기술 개발이 완전히 끊긴 것은 아니다. 정보통신정책연구원(KISDI)에 따르면 가상 인간이 챗GPT로 대변되는 생성형 인공지능(AI)이나 초거대 AI와 결합해 적용 산업군을 넓힐 수 있다. 그간 활동해 온 마케팅이나 엔터테인먼트 분야를 넘어 AI 비서, 법조 등 다양한 분야에 적용 가능하다. 사용자가 묻는 말에 스스로 대답할 수도 있어 양방향 소통도 가능할 전망이다.

◆챗GPT로 '지능' 더한 가상 인간··· 인간과 소통 가능
 

포바이포와 롯데홈쇼핑이 제작한 가상 인간 '루시'는 홈쇼핑 쇼호스트로 활동 중이다. [사진=포바이포]

미디어 기술 기업 포바이포는 최근 롯데홈쇼핑과 손잡고 가상 인간 '루시'를 고도화하기로 했다. 루시는 양사가 협업해 제작한 가상 인플루언서다. 인간 대역 배우에 3D로 제작한 외모를 입히는 '하이퍼리얼리즘 모델링' 기술로 만들었다. 지난해 말부터는 이를 실시간 방송에도 적용했다. SNS를 중심으로 소통하던 가상 인간이 실제 방송에서 소비자와 소통하며 제품을 소개하는 쇼호스트로 활동한 것이다.

양사는 루시를 인간 배우의 개입이 없는 완전한 AI 가상 인간으로 고도화한다. AI를 통해 자연스러운 움직임을 만들고, 챗GPT로 직접 소비자와 대화할 수 있게 만들 계획이다. 첫 번째 단계는 목소리와 표정 만들기다. 루시가 말할 때 발화에 맞춰 입술 모양을 바꾸거나 대화 내용에 맞춰 표정을 짓도록 AI 기술을 적용한다. 여기에 AI로 합성한 목소리를 더하면 자연스러운 메시지 전달이 가능하다. 또 대역 배우가 바뀌더라도 목소리가 그대로 유지되기 때문에 고유한 정체성도 유지할 수 있다.

이후 대역 배우 없이 스스로 움직일 수 있게 AI로 동작을 구현할 계획이다. 실제 배우의 움직임을 모션 캡처 방식으로 촬영하고, 이를 AI가 학습하면 상황에 맞는 자세나 동작을 취할 수 있다. 이러한 기술 개발이 완료되면 가상 인간이 등장하는 콘텐츠를 사전 촬영 없이 실시간으로 대량생산할 수 있다. 쇼호스트뿐만 아니라 다양한 형태의 콘텐츠 기획과 제작도 가능해진다.

루시 고도화 작업의 최종 목표는 대화형 가상 인간이다. 챗GPT 기반의 대화형 엔진을 장착하고, 인간과 직접 대화할 수 있게 하는 것이 목표다. 포바이포 측은 "이 단계까지 고도화하면 스스로 생각하고 대화하는 진정한 의미의 가상 인간을 만날 수 있을 것"이라고 설명했다.

◆생성형 AI로 외모 제작··· 가상 인간 도입 장벽 낮춰
 

딥브레인AI가 가상 인간으로 구현한 안내 키오스크. [사진=딥브레인AI]

가상 인간 솔루션 기업은 최근 산업적 활용 방안을 수요 기업에 제시하고 있다. 단순히 신기하다는 느낌을 넘어 실제로 가상 인간을 적극 활용할 수 있도록 기술 장벽을 낮추는 추세다.

딥브레인AI는 올해 4월 생성형 AI를 기반으로 누구나 쉽게 가상 인간 등장 영상을 제작할 수 있는 클라우드 솔루션(SaaS)을 선보였다. 수요 기업은 개발자나 기술자가 없어도 목적에 맞는 영상을 제작해 활용할 수 있다.

앞서 이 기업은 지난 대선 기간 중 'AI 윤석열'을 선보여 주목받은 스타트업이다. 당시 선보인 AI 윤석열에는 실제 인물 모습과 음성을 AI가 학습해 인물과 완전히 닮은 가상 인간을 만드는 기술을 적용했다.

이와 달리 이번에 선보인 기술은 생성형 AI를 활용해 세상에 없던 인물을 만든다. 특정 인물과 초상권 계약을 하지 않아도 돼 자유롭게 이용 가능하다. 딥브레인AI는 향후 다양한 나이대와 성별이 다양한 가상 인간 수천 명을 만들어 공급한다.

특히 딥브레인AI는 최근 레노버와 기술 파트너십을 맺었다. 양사가 보유한 생성형 AI와 대화형 AI 등 기술을 활용해 각 산업 유형에 맞는 가상 인간을 제작하는 것이 목표다. 우선 선보이는 것은 24시간 이용할 수 있는 안내 서비스다. 숙박업소 등에서 AI 가상 인간이 방문객을 안내하는 방식이다. 이를 시작으로 금융, 유통 등 분야별 맞춤형 가상 인간 서비스를 제공할 계획이다.

◆영화 주연 배우도 가상 인간이··· 작품·배역 맞는 분위기 연출
 

펄스나인이 선보안 가상 걸그룹 '이터니티'. [사진=펄스나인]

가상 인간을 만드는 기술은 영화에도 진출할 전망이다. 가상 걸그룹 '이터니티'를 선보인 기업 펄스나인은 최근 한국콘텐츠진흥원(한콘진)과 손잡고 가상 인간을 주연으로 하는 단편영화 제작에 나선다. 한콘진은 신기술 기반 방송콘텐츠 랩 운영 사업을 진행하고 있다. 이 사업을 통해 창작자 네 팀을 공모하고, 프랑스 작가 스테판 모(Stephane MOT)의 단편집 '서울 도시 전설'을 옴니버스 영화로 제작한다.

펄스나인이 제작한 가상 걸그룹 이터니티는 2021년 데뷔해 디지털 싱글 앨범을 발표한 바 있다. 각 멤버 외모는 생성형 AI로 제작했다. 다양한 모습으로 후보를 만든 뒤 대중적 선호도가 높은 외모로 데뷔 멤버를 구성했다. 멤버 외모는 자체 개발한 '딥리얼' 기술로 대역 배우에 적용한다. 특히 지난해에는 이터니티 멤버 중 하나인 제인이 뉴스 생방송에 출연했다. 팬과 실시간으로 소통하기 어려운 가상인간의 한계를 해결한 셈이다.

이번 한콘진 사업에 선정된 네 개 팀은 펄스나인의 가상 인간 제작 기술을 바탕으로 이들이 출연하는 단편영화를 제작한다. 원작 소설인 서울 도시 전설은 몽환적인 분위기와 캐릭터가 특징인 작품이다. 이를 AI로 구현해 몰입도 높은 작품을 제작하고 오는 10월 13일 시사회를 진행할 계획이다.

◆메타버스에 들어가는 가상 인간, 공간적 한계 뛰어넘을 전망

한국전자통신연구원(ETRI)은 지난해 12월 발간한 보고서를 통해 가상 인간의 진화와 기술 변화를 짚은 바 있다. 해당 보고서에서는 가상 인간이 향후 메타버스 세계의 주인공이자 핵심 콘텐츠로서 주목받을 것으로 예상했다. 가령 메타버스 공간 내에서 가상 인간이 소비자를 직접 응대하며 서비스를 안내하는 식으로도 활용 가능하다.

뿐만 아니라 개인의 신체나 건강 등 물리적 정보는 물론 지식, 인터넷상 활동을 결합하면 개인의 외모뿐만 아니라 내면도 닮은 가상 인간을 만들 수 있을 것으로 내다봤다. 이른바 '휴먼 디지털 트윈'이다. 자신과 닮은 가상 인간이 메타버스에서 활동하며 다른 사용자(콘텐츠 구독자)와 만나 전문지식을 전달하거나 노래를 부르며 공연하는 것도 가능하다. 인간이 물리적 공간의 한계를 넘는 활동하는 셈이다.

보고서에선 가상 인간을 제작하는 기술과 이들이 활동하는 플랫폼(메타버스) 외에도 네트워크와 하드웨어 등 인프라의 중요성도 강조했다. AI로 제작한 고품질 가상 인간을 제대로 구현하기 위해서는 초고속 인터넷이 필수적이다. 특히 지연시간을 최소화해야 인간과 끊김 없이 상호작용할 수 있다.

또한 사용자가 일상 가까운 곳에서 가상 인간을 만나기 위해선 증강현실(AR) 안경이나 가상현실(VR) 헤드셋 등이 필수적이다. 이에 더해 이미 해외에서는 향기나 바람을 느낄 수 있는 실감 콘텐츠 기술도 개발 중이다. 이러한 기술은 향후 가상 환경에 몰입도를 높이고 가상 인간과 자연스러운 상호작용을 지원할 것으로 기대된다.
 

[그래픽=김효곤 기자]