🫂

NPC: 안녕👋, 일주일 만이야!

만약 오늘 만난 가상현실 속의 NPC가 어제 나와 대화한 내용을 기억하고 있다면, 어떤 기분일까요? 동물의 숲, The Sims와 같이 사회를 구성하고, 사회 구성원들과 대화를 나누면서 상호작용할 수 있는 VR 게임들이 있습니다. 하지만, 현실에서와 같이 온전한 대화를 나누는 것이 아니라 NPC가 특정 발화를 하면, 그 발화에 대한 리액션이나 대답을 몇 가지 옵션 중에 선택하여 답변해야 하는 구조로 되어 있는 경우가 많습니다. 그렇기 때문에 그러한 가상 사회에서 온전한 몰입감을 가지고 대화를 나누고, 활동하는 데에는 한계가 있습니다. 하지만, 현실 세계에서 친구와 대화를 나누듯이 대화하고, NPC가 나와의 대화를 기억하며, 그때그때 상황에 맞게 행동한다면 어떨까요? 이상하면서도 오히려 편안한 느낌이 들 것 같지 않나요? 이미 했던 말을 다시 할 필요 없이 나를 기억하는 사회가 있다면 왠지 모를 친근함을 느끼게 될지도 모릅니다. 단순히 누적된 포인트, 달성한 활동 내용뿐만 아니라 사소한 대화와 상호작용까지 자연스러운 맥락 속에 기억된다면 가상환경 속에서도 연속된 시간의 흐름을 느낄 수 있을 것입니다.

Generative Agents: Interactive Simulacra of Human Behavior

이러한 상상을 현실에 한 발 가깝게 만든 최근 한 연구가 있습니다. 바로 스탠퍼드 대학교와 구글의 연구진이 진행한 “Generative Agents: Interactive Simulacra of Human Behavior”라는 인간의 상호작용 행위를 모방하는 생성형 에이전트에 대한 연구입니다. 해당 연구는 각각 다른 성격과 역할을 부여한 25개의 AI 캐릭터(Generative Agent의 Instance)를 만들어서 ‘Smallville’이라는 조그만 사회에서 상호작용하도록 설계되었습니다.

Figure 1: 25개의 에이전트로 샌드박스 환경을 구성하여 생성 에이전트를 시연

생성 에이전트의 행동 및 상호작용

각 캐릭터에게는 이름, 나이, 선천적/후천적 성향, 라이프 스타일, 하루 일과 등의 정보가 사전에 정의됩니다. 예를 들어 사람들을 돕는 것을 좋아하는 “John Lin”은 Willow 마켓과 약국의 점원입니다. 그는 항상 고객이 약을 쉽게 받을 수 있는 방법을 찾고 있습니다. 대학 교수인 아내 Mei Lin과 음악 이론을 공부하는 학생인 아들 Eddy Lin과 함께 살고 있습니다. John Lin은 그의 가족을 매우 사랑하고, John Lin은 옆집 노부부 Sam Moore와 Jennifer Moore과 친분이 있는 캐릭터로 설정되어 있습니다. 또한 아래 그림과 같이 각 에이전트의 하루 일과가 부여됩니다. John Lin은 아침 6시쯤 일어나 양치, 사워, 아침 식사 요리를 하고, 가족들과 서로의 안부를 물은 다음 짐을 챙겨 출근합니다.

Figure 2 : 생성 에이전트 “John Lin”의 모닝 루틴

이와 같은 속성값을 기반으로 한 생성형 AI 기술을 통해 "Smallville" 사회 속에서의 행동, 상호작용, 대화 등이 구성됩니다. 이들은 논문 속에서 Generative Agent라는 용어로 정의되었습니다. 대규모 언어 모델을 사용하여 모든 경험과 대화를 자연어로 기록하고, 시간이 지남에 따라 더 높은 수준의 Reflection, 일종의 자기반성 통해 실행과 실수에 의한 배움을 수행하며, 행동 계획을 동적으로 검색합니다. 이 연구의 독특한 점은 에이전트가 직접 행동을 계획한다는 것에 있습니다. 예를 들어 한 에이전트가 발렌타인 데이 파티를 열고 싶다고 한다면, 에이전트는 스스로 다음 날 초대장을 나누어주고, 새로운 지인을 만나고, 서로에게 파티 메이트를 요청하는 등 자연스럽게 다음 행동을 계획하고 실행합니다. 이뿐만 아니라, 해당 연구는 한 에이전트와 나눈 대화의 내용을 다른 에이전트에게 전달하면서 정보 확산과 의견 교환이 일어난다고 밝혔습니다.

Figure 3 : 발렌타인데이 파티의 확산 경로

Generative Agent Architecture

이를 가능하게 하는 생성 에이전트는 다른 에이전트와 상호작용할 수 있고, 환경의 변화에 반응할 수 있는 프레임워크입니다.

Figure 4 : 생성 에이전트 아키텍처

위 그림에서 볼 수 있듯이 생성 에이전트는 환경을 인식(Perceive)하고 모든 인식에 관한 정보는 Memory Stream이라는 에이전트 경험의 기록으로 저장됩니다. 이 구조는 기록을 유지하고 관리하는 일종의 데이터베이스입니다. 아키텍처는 인식한 정보에 따라 메모리를 검색(Retrieve)한 다음, 검색 결과를 통해 다음 행동을 결정합니다. 이렇게 검색된 메모리(Retrieved Memory)는 또한 장기 계획(Plan)을 수립하고 추후에 Memory Stream에 입력되는 더 높은 수준의 Reflection을 생성하는 데 사용됩니다. 아키텍처의 모든 정보는 자연어로 기록되고 추론되며, 대규모 언어 모델을 활용하는 아키텍처에 따라 현재 구현은 ChatGPT의 GPT 3.5-turbo 버전을 사용합니다.

What’s Next

이와 같은 기술을 VR 콘텐츠에 활용하면 가상 사회에서 자연스러운 대화를 통해 사용자의 몰입을 높일 수 있다는 강점이 있습니다. 이뿐만이 아니라, 미래에 발생할 수 있는 사건이나 상황을 생성형 AI로 구성한 사회 속에서 시뮬레이션하여 여러 가상의 시나리오를 제작하는 시뮬레이터로 활용도 가능합니다. 예를 들면, 가짜뉴스의 확산 속도에 대한 시뮬레이션을 수행하고자 한다면, 현실에서 이를 수행하는 것은 윤리적인 문제와 결과에 대한 위험성이 있을 것 입니다. 생성형 AI 아바타로 구성된 사회에서 모든 마을 구성원들이 가짜뉴스를 접하게되는 데까지 어느 정도의 시간이 걸리고, 어떠한 과정을 통해 전파되는지를 여러 시나리오로써 실험할 수 있을 것 입니다. 이는 사회 시스템과 학술적 이론을 테스트하고 프로토타입을 만들며 새로운 상호작용 경험을 기반으로 하는 시뮬레이션을 제작할 수 있는 가능성을 제공합니다. 또한 생성 에이전트를 사용자의 프록시(일종의 대리인)로 활용함으로써 사용자의 니즈와 선호를 더 높은 수준으로 이해하고, 보다 개인화된 기술 경험을 제공할 수 있습니다.

글을 마치며

오늘 소개해드린 연구와 맥락이 유사한 “프리가이”라는 미국의 SF 코미디 영화가 있습니다. 이 영화의 주인공인 가이(라이언 레이놀즈)는 스토리라인에 맞게 프로그래밍이 된 대로 행동해야 하는 NPC이죠. 가이의 일상은 매일 아침 똑같은 시간에 일어나서 반려 금붕어에 인사를 하고, 매일 같은 카페에서 항상 같은 크림과 설탕 두 스푼이 들어간 미디엄 커피를 주문하는 것으로 하루를 시작합니다. 그는 어김없이 은행으로 출근하여 은행원의 역할을 수행하고, 해당 게임의 플레이어인 은행 강도가 들이닥치면 곧바로 바닥에 엎드리는 것이 규칙인 NPC입니다.

하지만 한 가지 변수가 발생합니다. 게임의 사용자 캐릭터에 갑자기 사랑에 빠지게 된 것. 갑작스러운 한 변수는 기존의 정형화된 가이의 행동 양식을 모두 자신의 판단과 의지에 기반해서 행동하도록 변화시킵니다. 기대보다 재미있게 봤던 영화인 만큼 결말이 스포일러 되지 않도록 줄거리는 이만 말을 줄이겠습니다. 이렇듯 자신만의 자유의지를 가진 혹은 자유의지처럼 보이는 메커니즘을 가진 AI 기반의 NPC를 만나게 된다면 어떤 대화를 나누고 싶으신가요?

(작성자: 이다솔)

참조

arxiv.org

https://arxiv.org/pdf/2304.03442.pdf?utm_source=www.therundown.ai&utm_medium=newsletter&utm_campaign=stanford-s-groundbreaking-ai-study

Reverie

https://reverie.herokuapp.com/replay_persona_state/March20_the_ville_n25_UIST_RUN-step-1-141/2160/Arthur_Burton/