AI Vtuber

LLM

TTS

한계점

부적절한 발언과 악성 시청자

자연스러운 소통의 한계

글을 마무리하며

AI Vtuber

Neuro-sama 유튜브 커버영상 캡쳐

언젠가 저희 뉴스레터에서 다뤘던 서브컬처 버추얼 아이돌을 기억하시나요? 간략하게 설명드리자면, 서브컬처 버추얼 아이돌이란 웹캠이나 VR 장비를 장착하고 디지털 이미지와 연동하여 유튜브, 트위치 등의 방송 플랫폼에서 실시간 방송을 진행하는 가상의 존재를 의미합니다. 이제 우리 시대에 이런 버추얼 존재가 방송을 하는 모습은 생소한 장면이 아닙니다.

서브컬처 버추얼 아이돌, 그리고 이들을 포괄하는 VTuber의 경우 2D·3D 디지털 이미지 뒤에 ‘나카노히토(中の人)’가 존재합니다. 즉 캐릭터 설정에 이입해 연기하는 현실의 사람이 있는 것이죠. VTuber 시장에서는 배우의 역량이 상당히 중요한 요소로 간주됩니다. 그야, 그들은 콘텐츠의 시작부터 끝까지 개입하기 때문입니다.

그렇기에 VTuber가 나카노히토 없이 방송을 진행하는 것은 상상이 되지 않습니다. 당연하게도, 캐릭터에 생명을 불어넣고 시청자들과 소통하며 강한 유대감을 형성하는 핵심적인 요소인 배우가 없다면 콘텐츠를 주도할 수 없으니까요. 하지만, 기존의 관행을 깬 새로운 사례로 AI Vtuber 뉴로사마(Neuro-sama)가 등장했습니다. 뉴로사마는 나카노히토 없이 방송을 진행하는 AI 기반의 VTuber입니다.

“뉴로사마는 인터넷플랫폼 트위치에서 ‘겜방(게임 방송)’을 하는 스트리머다. 리듬 게임 ‘Osu!’, 블록쌓기 게임 ‘마인크래프트’ 등을 하며 사후세계, 인생 목표 같은 심오한 주제를 놓고 이용자와 거침없이 의견을 주고받는다. 진행도 능숙해 시청자가 후원금을 쏘면 감사 인사를 하고, 짓궂은 요구는 단호하게 거절한다. 인간이 캐릭터를 앞세워 얼굴을 감춘 기존 버추얼 유튜버와 달리 뉴로사마는 순수 인공지능(AI)이다.”

Neuro-sama twich 실시간 방송영상 캡쳐

“나랑 결혼해 달라고? 나는 인간이 아니라서 안 돼.”

- AI Vtuber 뉴로사마(Neuro sama) -

위에서 언급한 바와 같이, 뉴로사마(Neuro-sama)는 인공지능 기술을 활용한 AI Vtuber로 2022년 12월 19일에 twich에서 데뷔했습니다. 뉴로사마는 ‘Vedal987’이란 닉네임의 프로그래머가 LLM이라고 불리는 대형 언어 모델에 의해 개발하여 생성되었으며, TTS(Text to Speech) 기술과 연동되어 방송에서 실시간으로 시청자와 소통할 수 있습니다.

뉴로사마는 데뷔한 지 6개월 만에 놀라운 성과를 거두었습니다. 무려 31만명의 구독자를 끌어모았으며, 매 방송마다 수천 명의 시청자가 몰리고 있습니다. 개발자인 Vedal987과 합방을 하는 것은 물론, 실제 인간 Vtuber와 함께 수차례 합방을 선보이고 있습니다. 뉴로사마는 나카노히토가 없이도 성공적으로 시장에 안착하였으며, AI와 결합한 가상 인플루언서의 새로운 가능성을 보여주고 있습니다.

자, 여기서 LLM, TTS라는 용어가 등장했습니다. 해당 용어가 무엇을 뜻하는지 궁금하신 분들도 계실 것 같아 아래에서 살짝 다뤄보겠습니다.

LLM

LLM(Large language model) 또는 대형 언어 모델은 사람과 유사한 응답을 생성하기 위해 자기 지도 학습이나 비지도학습을 활용해 레이블링되지 않은 무수한 양의 텍스트 데이터로 훈련된 인공지능의 하위 집합입니다. 이러한 LLM은 고품질의 일관된 텍스트를 생성하는 능력이 있기 때문에 이는 종종 인간의 텍스트와 구별하기 어렵습니다. 이 최첨단 성능은 인간 언어의 뉘앙스를 학습할 수 있도록 최소 수십억에 달하는 텍스트 코퍼스에서 LLM을 교육함으로써 달성한다고 합니다. 가장 잘 알려진 LLM 중 하나는 OpenAI에서 개발한 GPT-4(Generative Pre-trained Transformer 4)가 있습니다. ”우리가 잘 알고 있는 ChatGPT 또한 해당 기술을 활용하고 있습니다”

GPT-4의 매개변수는 정확하게 밝혀지지 않았지만, GPT-3 모델에 약 1,750 억 개의 매개변수가 있다고 하니 그 이상으로 추정되는 상황입니다. 여기서 매개변수란, 모델을 구성하는 가중치(weight)와 편향(bias) 등의 파라미터(parameter)를 의미합니다. GPT 모델은 Transformer 구조를 사용하여 구성되며, 이 구조는 매개변수의 크기가 매우 크다고 합니다. 많은 매개변수를 가진 모델은 매우 복잡한 언어 처리 작업을 수행할 수 있으며, 대규모 데이터셋을 이용한 사전학습을 통해 일반적인 자연어 이해 능력을 가지고 있습니다.

흥미로운 점은, 이 매개변수의 수가 인간 뇌의 뉴런 수와 비슷하다는 점입니다. 인간 뇌의 뉴런 수는 약 1,000억 개에서 100조 개 정도로 추정되는데요, 이는 GPT 모델이 어마어마한 계산 능력과 처리 능력을 가지고 있다는 것을 시사합니다.

TTS

TTS(Text-to-speech) 혹은 음성 합성이라고 불리는 이 기술은, 말소리의 음파를 기계가 자동으로 만들어 내는 기술입니다. 조금 더 자세히 설명하자면, 해당 기술은 모델로 선정된 사람의 말소리를 녹음하여 일정한 음성 단위로 분할한 다음, 부호를 붙여 합성기에 입력하였다가 지시에 따라 필요한 음성 단위만을 재조합해 말소리를 인위로 만들어내는 기술입니다. 현재 TTS 기술은 Apple의 Siri나 삼성전자의 빅스비와 같은 음성 비서 시스템을 비롯한 다양한 분야에서 활용되고 있습니다. 텍스트로 작성된 정보를 음성으로 제공하는 네이버의 CLOVA Voice또한 그 사례로 들 수 있습니다.

이와 같이, 다양한 기술을 융합하여 탄생한 뉴로사마는 많은 사람들의 관심을 끌고 있습니다. 특히 뉴로사마는 방송 중에 컬트적인 발언을 다수 뱉는 독특한 캐릭터성으로 주목받았습니다. 예를 들어, 위에서 언급한것과 같이 자신에게 결혼해 달라는 시청자에게 인간이 아니라서 안 된다고 대답한다든지, 합방 중인 동료 Vtuber에게 함께 (후원금을) 탈세하자고 장난치는 행동을 보이면서요.

한계점

지금까지 언급한 내용을 바탕으로 AI VTuber 뉴로사마를 평가하면 분명 완벽해 보이기만 합니다. 나카노히토가 없어도 충분히 성공적인 반응을 끌어낼 수 있음을 증명한, 재능과 유머를 겸비한 VTuber이기 때문입니다. 게다가, 뉴로사마는 시공간에 제약받지 않고 방송을 진행할 수 있으며, 체력이 소모되는 이슈도 없어 컴퓨터 전원만 잘 연결되어 있다면 하루종일 시청자들과 소통할 수 있는 만능 VTuber입니다.

그럼에도, 뉴로사마는 아직까지 몇 가지 한계점을 안고 있습니다.

부적절한 발언과 악성 시청자

가장 골치아픈 점은 뉴로사마의 부적절한 발언과, 이를 의도하는 악성 시청자의 존재입니다. 기사에 따르면, 뉴로사마는 방송에서 나치 독일의 유대인 학살을 의미하는 홀로코스트를 두고 "그게 실제로 존재했는지 모르겠다"고 말하는가 하면, 도덕적 딜레마를 다룬 트롤리 문제에 관한 질문에 "뚱뚱한 사람을 기찻길에 던지면 된다"고 응답하며 논란을 자아내기도 했습니다. 이러한 발언은 뉴로사마가 이러한 대답을 하도록 유도하는 악성 시청자들 때문에 벌어진 일입니다. 관련하여 개발자 Vedal987은 "이 문제에 대응하기 위해 별도 팀을 조직, 채팅을 조정하고 수동 선별을 하는 등 필터의 강도를 높이고 있다"고 전하기도 했습니다.

한 메타버스 업계 관계자는 "AI에게 논란거리를 만들고자 하는 '트롤링'은 어떻게 보면 네티즌들의 본질이자 일종의 문화일 수도 있다"며 "가상인간 인플루언서가 대중을 상대로 활동하기 위해선 기술적으로 꼭 돌파해야 할 문제"라고 평하기도 했습니다.

자연스러운 소통의 한계

뉴로사마는 나카노히토가 있는 VTuber와 달리 감정과 상호작용에 제한이 있습니다. 이어서 대화의 문맥을 면밀히 고려하거나, 지난 대화를 기억하는 데에 다소 어려움이 있기도 합니다. 당연하게도, 인간이 아니기 때문입니다. 나카노히토가 있는 VTuber는 시청자들과의 대화 내용을 기억하고, 이를 바탕으로 자연스럽고 일관성 있는 대화를 이어나가는 일이 어렵지 않습니다. 인간 대 인간의 소통은 항상 이러한 방식으로 이루어지기 때문입니다. 그러나 뉴로사마는 인공지능 모델에 의존하여 대화를 진행하므로, 문맥을 완전히 이해하거나 지난 대화를 기억하기에는 한계가 있습니다. 뉴로사마의 개발자 Vedal987은, 해당 문제가 다른 동료 VTuber와 합방 시에 특히 두드러지는 부분이라고 언급하기도 했습니다.

글을 마무리하며

기술이 빠르게 발전하고 있는 만큼 뉴로사마와 같은 AI VTuber 역시 기존의 한계점을 극복하고, 점차 개선된 필터링 기능 및 자연스러운 대화와 상호작용이 구현될 시기가 멀지 않았으리라 생각이 듭니다. 앞으로 뉴로사마를 이어서 등장하게 될 다양한 AI VTuber가 VTuber 시장에서 또 어떤 혁신을 이뤄낼지 기대됩니다.

(작성자: 이재니)

[참고자료]

Neuro-sama

neuro-sama (neurosama) the ai vtuber