제2의봄은 메타버스를 새로운 기회 공간으로 만들기 위해 다양한 기회를 찾고 메타버스에서 반드시 필요한 콘텐츠 플랫폼 개발을 진행 중에 있습니다. 그런 와중에 흥미로운 메타버스 프로젝트에 참여할 수 있는 기회를 갖게 되었고 얼마 전 결과물을 세상에 공개하게 되었습니다. 이번 포스트를 통해 제2의봄이 진행한 내용을 전하고자 합니다.
AI 기반 메타버스 예술 창작 프로젝트 : 메타-워리돌
제2의봄은 2022년 2월 한국영상대학교와 교육, 산학협력사업 등의 교류 협약을 체결하였습니다. 이를 바탕으로 한국영상대학교(디렉터: 김혜란 교수)가 주관하고 문화체육관광부, 한국문화예술위원회가 후원하는 AI 기반 스토리 및 이미지 생성 메타버스 예술 창작 프로젝트 ‘메타-워리돌(Meta-Worrydoll)’의 개발 전반을 맡았습니다.
‘메타-워리돌’은 관객이 메타버스 내에 꾸며진 여러 공간들을 탐험하며 숨겨진 워리돌(걱정인형)을 만나 워리돌의 질문에 답을 한 내용을 바탕으로 새로운 글과 이미지를 생성하고 NFT로 출판하는 프로젝트입니다. 관객이 참여하는 예술 공간의 범위를 메타버스, 즉 디지털 가상 공간으로 넓히고 관객과의 인터랙션을 통해 AI를 도구로 이용하여 새로운 창작물을 만들 수 있는 가능성을 확인해본다는 의의를 갖는 프로젝트입니다.
제2의봄은 이번 프로젝트를 통해 구축하는 콘텐츠 플랫폼의 활용과 범용성을 넓히고 AI 연동, NFT 발행 등 개발해 온 신규 기능을 실 프로젝트에 적용할 수 있는 기회를 갖게 되었습니다.
메타버스 플랫폼 고르기: 왜 Decentraland인가?
‘메타-워리돌’은 2022년 7월부터 시작하여 9월까지 개발을 완료하여 10월부터는 온라인 전시(테스트 기간 포함), 11월은 오프라인 전시 일정으로 진행되는 스케줄로 개발 기간이 여타 프로젝트에 비해 상당히 짧았습니다. 이 때문에 3D 가상 공간, 메타버스 전체를 커스텀으로 구현하는 것은 불가능하였고 커스터마이징이 가능한 여러 메타버스 플랫폼을 살펴봤습니다.
메타버스 플랫폼 중 가장 많이 알려진 서비스인 Zepeto(제페토)와 Roblox(로블록스) 외에 Decentaland(디센트럴랜드), Sandbox(샌드박스), Somnium Space(솜니엄 스페이스), Ifland(이프랜드), Gather(게더타운), Engage(인게이지) 등 상당히 많은 메타버스 플랫폼 서비스가 있습니다. 언제 한번 각 서비스마다의 특장점을 정리해서 소개하는 콘텐츠를 만들어도 재밌겠다 싶을 정도로 각 서비스들마다 차이가 있습니다. 이 중 저희는 Decentraland에 주목했습니다.
저희가 꼽은 Decentraland의 특장점은 다음과 같습니다.
•
높은 자유도
•
별도의 앱 설치 없이 웹 브라우저에서 플레이 가능 (모바일과 VR 기기에서 아직 안되는 점은 아쉽습니다.)
•
공간을 구성하기 용이한 빌더(builder) 서비스 제공
•
다양하고 많은 예제 코드
•
블록체인 기반
짧은 시간 내 관객이 여러 테마를 탐험할 수 있는 공간들을 구성하고 인터랙션들을 개발하여 웹 플랫폼으로 배포할 수 있게 하는 조건을 부합하기에 Decentraland는 꽤 높은 가능성을 가진 플랫폼이라 판단하였습니다.
한편, 공간을 구성하는 맵 디자인은 한국영상대 실감영상콘텐츠과 학생들이 참여하였습니다. 빌더를 이용하여 원하는 공간을 만들 수 있는데 기본으로 제공되는 3D 모델 에셋도 많지만 테마 중 서커스 공원, 중세성곽 마을의 경우 새로운 3D 모델이 필요했습니다. 커스텀 3D 모델 파일을 넣는 작업은 그리 어렵지 않았습니다. 빌더를 통해 GLTF 포맷으로 된 모델 파일이면 쉽게 업로드하여 공간에 배치할 수 있습니다. 제2의봄은 2,000개 이상의 3D 모델 에셋을 확보하여 다양하고 흥미로운 공간을 탐험할 수 있도록 제공하였습니다.
관객마다 고유한 경험을 제공하는 워리돌
NFT 이야기는 후술하겠지만, NFT 마켓에서 가장 각광받은 콘텐츠들은 ‘CryptoPunks’, ‘BAYC(Bored Ape Yacht Club)’과 같은 PFP(Profile Picture) 입니다. PFP 콘텐츠의 특징은 기본이 되는 이미지, 3D 모델 위에 다양한 꾸밈 요소를 적용하여 각기 다른 이미지를 만들어냅니다. 제2의봄은 관객마다 각기 다른 워리돌을 만날 수 있는 재미와 경험을 제공하기 위해 워리돌 또한 PFP 콘텐츠 제작 방식을 사용했습니다. 하나의 기본 모델 위에 헤어, 상의, 하의, 신발 등 여러 요소를 조합하여 다양한 워리돌을 만들어냈습니다.
.gif&blockId=7a453f69-4ee6-44a9-b748-c94ce04a2b3b)
창작의 도구로서 AI 사용하기
이번 프로젝트에서 메타버스 플랫폼만큼 중요한 요소는 AI 입니다. 초거대 AI 모델(GPT-3)를 이용한 글 쓰기, 이미지 생성 등 다양한 사례들이 최근 많이 나오고 있습니다. 콜센터와 같은 고객 대응 서비스가 AI로 대응이 가능해지고, 마케팅 업계에서도 감성적인 카피라이트 문구를 창작하는 도구로 사용되고 있습니다. 또한 OpenAI에서 발표한 DALL-E 2가 그린 그림들을 보면 퀄리티가 우수하면서 사람보다 훨씬 빠른 시간안에 더 창의적인 그림들을 만들 수가 있겠다는 생각이 듭니다. 이러한 기술 흐름에 따라 메타버스에서는 예술 창작자가 사람이 아닌 충분히 AI일 수 있음을 확인하고자 글을 쓰는 AI와 그림을 그리는 AI를 사용했습니다.
글을 쓰는 AI는 네이버의 하이퍼클로바 서비스를 이용했습니다. 하이퍼클로바는 2040억 파라미터 규모의 한국어 모델로는 전 세계에서 가장 큰 모델입니다. 제2의봄은 하이퍼클로바 클로즈드 베타에 참여하여 프로젝트에 알맞는 문장 결과를 내기까지 다양한 입력(prompt) 글을 넣으며 테스트하였고, 현재는 꽤 멋진 문장력을 보여주고 있습니다.
창작된 문장 예
시간 가는 줄 모르고 멍하니 있다 보면 어느새 한 손에는 휴대폰이 들려있다. 누군가와의 연락을 기다리며 만지작거리는 내 손가락은 지금도 멈추지 않는다. 그렇게 나는 낭만을 잃고 있는 것 같다.
그 사람은 이미 충분히 높다. 그래서 나는 그저 빙글빙글 돌며 춤을 출 뿐이다. 아름다운 선율 위에 몸을 맡기고 손을 흔들며 하늘 높이 날아오른다. 내 꿈과 희망도 함께 날아가 저 멀리 닿기를.
나는 태양을 좋아한다. 그 뜨거운 열기는 만물을 성장시키고 꽃피운다. 또한 한 번 타오르면 쉽게 꺼지지 않는다. 이처럼 내 삶도 뜨겁게 타올라 무엇이든 할 수 있는 열정적인 사람이 되고 싶다.
그림을 그리는 AI는 카카오브레인에서 공개한 minDALL-E를 이용했습니다. minDALL-E는 13억 파라미터를 가진 모델로 1,400만건의 이미지-텍스트 쌍 데이터를 학습하여 만들어졌습니다. 제2의봄은 창작된 글을 이미지 생성 입력 값(prompt)으로 활용하여 이미지를 생성하도록 했습니다.
창작된 이미지 예
.png&blockId=24a16cb7-74b9-4f43-a769-9767473d68a9)
NFT로 메타버스에서 소유를 가능하게 하기
2021년을 뜨겁게 한 키워드 중 하나는 분명 NFT(Non-Fungible Token, 대체 불가능 토큰)입니다. NFT는 디지털 자산(파일)을 고유 자산으로 인식하고 거래가 가능하도록 하여 메타버스에서도 디지털 자산의 경제 활동이 가능함을 보여주었습니다. NFT의 경제적, 기술적 효용성은 여전히 계속해서 논의되고 있습니다만, 제2의봄은 메타버스에서 생성되는 다양한 디지털 자산의 권리를 증명하고 보호할 수 있는 도구로 NFT를 사용하고자 이번 프로젝트에서도 작품이 생성될 때마다 NFT를 민팅하도록 개발하였습니다.
이번 프로젝트에서는 NFT 민팅과 거래가 가능한 스마트 콘트랙트를 Polygon 블록체인 네트워크에서 배포하였으며, 생성된 작품은 IPFS(InterPlanetary File System)에 저장됩니다. 민팅된 콘텐츠는 OpenSea, Rarible 등의 NFT 마켓플레이스에서 살펴볼 수 있습니다.
당신의 걱정을 담은 메타-워리돌이 세상에 나오다
2022년 7월부터 시작한 ‘메타-워리돌’의 개발은 10월에 완료하여 세상에 공개하게 되었습니다. 메타버스, AI, NFT 등 한 프로젝트에서 핫한 기술 키워드가 여러가지 들어가다 보니 3개월여의 개발 기간이 짧았지만, 사용된 프레임워크, API 등은 꽤 많았습니다. 이를 정리해보면서 주요 프레임워크를 중심으로 아키텍처를 그려봤습니다.
.png&blockId=df059e90-d20b-4d7d-a304-e39a7ac21f69)
메타-워리돌 사이트에 접속하면 ‘도심 속 공원’, ‘정글’, ‘중세성곽’, ‘서커스’ 총 4가지의 테마를 탐험하실 수 있습니다. 각 테마마다 3개의 메타버스가 있으며, 랜덤으로 선택되어 들어갈 수 있습니다. 즉, 12개의 메타버스가 마련되어 있으니 각 테마마다 여러번 탐험해 보시기 바랍니다. 총 5개의 워리돌을 만나실 수 있으며 5번의 워리돌 질문에 모두 답을 하셨을 때, 입력하신 이메일로 생성된 작품이 전달될 수 있습니다.
탐험을 완주할 수 있는 힌트
제2의봄은 이번 프로젝트를 통해 개발중인 메타버스 콘텐츠 플랫폼의 활용성과 NFT 민팅 등의 신규 기능의 정상적인 작동을 확인하였습니다. 또한 AI와의 연계를 통한 플랫폼의 확장성도 확인하였습니다. 제2의봄은 계속해서 널리 공개할 메타버스 콘텐츠 플랫폼을 통해 많은 이들이 메타버스에서 새로운 기회와 경험을 만들 수 있도록 앞으로 나아가겠습니다.
