​[Tech in Trend] ① 창작 영역에 들어온 AI, 인간과 함께 작품 만든다

어도비, AI 센세이로 이미지 보정과 편집 등 전문작업 자동화

네이버, 웹툰 자동 채색 AI 선봬...배경·캐릭터 등 고도화 계획

인간 화풍 학습해 스스로 작품 만들어...코딩 등 기술적 창작도 가능

네이버가 선보인 AI 기반 웹툰 자동 채색 도구 '웹툰 AI 페인터'. [사진=네이버 웹툰 AI 페인터 갈무리]

딥마인드가 개발한 인공지능(AI) 알파고가 바둑을 정복한 이후 AI 성능은 날로 개량되면서 여러 영역에서 인간을 뛰어넘기 시작했다. 스타크래프트 같은 실시간 전략 게임은 물론 의학 분야에서는 새로운 신약 후보물질을 찾아 개발을 앞당기고, 유통 분야에서는 수요와 공급을 예측해 생산량이나 물류를 최적화한다.

AI가 자동으로 외국어를 번역하고 빅데이터를 분석하는 시대에 들어섰지만 예술작품 창작만큼은 인간의 고유 영역으로 인식해왔다. AI가 더 많은 정보를 빠르게 학습하고 알고리즘에 따라 처리할 수는 있지만 배우지 않은 것을 상상하고 표현하는 것은 AI로서는 불가능한 영역으로 여겨졌기 때문이다.

6일 업계에 따르면 AI 성능이 비약적으로 발전하고, 새로운 방법론과 모델이 등장하면서 창작 영역에서도 AI가 상당한 역할을 하고 있다. 이미 AI는 작품을 만드는 과정에서 인간의 작업을 지원하고 있으며 나아가 이전에는 없던 작품을 스스로 만들어내기도 한다. 

어도비는 2016년부터 자사의 창작 소프트웨어 포토샵, 프리미어 프로, 일러스트레이터 등에 AI 기반 자동 편집 기능을 도입했다. 전문 예술가가 아닌 일반인도 자신의 아이디어를 작품으로 표현할 수 있는 '창의성의 민주화'가 어도비의 기조다.

어도비 AI인 '센세이(Sensei)'는 편집 중인 이미지를 분석하고, 비어 있는 영역을 자동으로 채워 주거나 불필요한 이미지를 자연스럽게 삭제한다. 과거에는 숙련된 기술이 필요한 작업도 이제는 클릭 한 번으로 마무리할 수 있다.

대표적으로 포토샵 배경 제거 기능을 들 수 있다. 과거 이미지 편집에서 배경과 피사체를 분리하고, 피사체를 다른 이미지에 합성하기 위해서는 일명 '누끼'라는 작업이 필요했다. 이 작업은 이미지 편집 도구를 이용해 피사체 외곽선을 따라 경계를 만들어 이를 잘라내는 과정으로, 외곽선이 복잡할수록 손이 더 많이 간다. 포토샵은 이 작업에 AI를 적용하고 클릭 한 번으로 피사체를 자동 인식해 잘라낼 수 있다.
 

어도비는 AI 기반 소묘 애플리케이션 프레스코를 통해 수채화나 유화 등 물리적 특징을 디지털 기반 작업에 구현했다.[사진=어도비]

소묘(드로잉) 애플리케이션인 어도비 프레스코 역시 AI를 적용한 사례다. 그림을 그릴 때 컴퓨터로 작업하는 것과 달리 실제 그림은 현실세계의 물리적 특성이 나타난다. 가령 수채화는 물감에 물을 얼마나 많이 섞느냐에 따라 투명도가 달라지며, 유화는 먼저 칠한 물감에 다른 색 물감을 덧칠해 여러 색이 섞이도록 할 수 있다.

프레스코는 이러한 물리적 특성을 AI로 구현한 것이 특징이다. 유화물감을 덧칠하는 블렌딩 기법으로 부드러운 느낌의 작품을 만들거나, 수채화에서 물이 번지는 효과를 내는 표현도 할 수 있다. 디지털 기술인 AI를 이용해 아날로그적 표현 기법을 더한 셈이다.

AI는 웹툰 제작에도 쓰이기 시작했다. 네이버는 자동 채색 도구인 '웹툰 AI 페인터'를 선보였다. 이는 사용자가 그린 스케치를 맥락에 맞게 채색해주는 도구로, 네이버는 이를 통해 아마추어 창작자의 작품 활동을 지원할 계획이다.

채색은 웹툰을 제작하는 과정에서 작품의 전반적인 분위기를 결정하는 중요한 요소 중 하나다. 인기 웹툰은 이를 전담하는 채색 작가나 팀을 별도로 운영할 정도로 정성을 들인다. 웹툰 AI 페인터는 붓으로 직접 채색한 듯한 느낌이 나는 '일러스트 방식' 채색도 클릭 몇 번으로 완성할 수 있게 해준다.

네이버는 이를 위해 약 30만장의 이미지를 학습시키고, 인물의 얼굴, 신체, 배경 등 이미지 속 각 영역에 대한 특징을 추출해 다양한 채색을 할 수 있도록 만들었다. 사용자가 색상을 선택하고 스케치를 클릭하면 얼굴, 눈동자, 의상, 머리카락 등 다양한 영역의 색상이 자동으로 채워진다. 네이버는 향후 배경 자동 생성, 캐릭터 자동 생성 등 AI 기반 웹툰 창작 기술을 고도화할 계획이다.
 

AI 예술의 시대, 미술, 음악 넘어 코딩까지 스스로

CJ올리브네트웍스의 에어트(AiRT)가 실제 작가의 화풍을 학습해 그린 '월하2021'. [사진=CJ올리브네트웍스]

고도로 발전한 AI는 이제 창작에서 인간을 지원하는 수준을 넘어 스스로 작품을 만드는 수준까지 발전했다.

CJ올리브네트웍스 AI 연구소가 개발한 '에어트(AiRT)'는 인간 작가의 화풍을 학습하고, 이와 유사한 작품을 만들어내는 창작 서비스다. 학습한 화풍을 토대로 연작 작품이나 움직이는 그림(동영상) 등 새로운 형태의 작품을 제작한다. 원작 작가의 정체성은 유지하면서 새로운 표현 기법으로 창의적인 작품을 만들어낼 수 있는 셈이다.

여기에는 VAE(변량 자동 인코더)와 GAN(생성적 적대 신경망)이라는 AI 모델이 복합적으로 쓰인다. VAE는 AI가 무작위로 생성한 이미지가 최대한 원작과 가까운 느낌을 내도록 하는 모델로, 이를 통해 사람이 그린 것과 유사한 작품을 만들어낸다. GAN은 다수의 AI가 서로 경쟁하며 평가하는 모델로, AI가 만든 작품이 얼마나 원작과 유사한지 또 다른 AI가 평가하고, 이 결과를 다시 작품에 반영하면서 완성도를 높인다.

엔비디아는 간단한 스케치만으로 풍경화를 만들 수 있는 AI 소프트웨어 '엔비디아 캔버스(NVIDIA Canvas)'를 공개했다. 여기에는 창작 AI '고갱 2(GauGAN 2)'가 적용됐다. 고갱2는 사용자가 간단한 선을 그리면 AI 모델이 즉시 선에 그림을 입히고, 들판이나 연못도 자동으로 그릴 수 있다. 물에 비친 바위나 나무 등도 자연스럽게 생성한다.

텍스트 입력만으로도 작품을 만들어낸다. 가령 '해변의 일몰'과 같은 문구를 입력하면 AI가 실시간으로 해당 장면을 생성하며, '바위가 많은 일몰의 해변'처럼 형용사를 추가하면 GAN 모델을 기반으로 장면을 즉시 수정한다. 고갱2는 이를 위해 엔비디아 셀린(Selene) 슈퍼컴퓨터를 사용해 훈련했으며, 1000만개의 고품질 풍경 사진을 학습하고, 겨울, 안개, 무지개 등의 단어를 실제 이미지와 연결하도록 훈련했다.
 

엔비디아 고갱2는 간단한 스케치를 작품으로 만들어주는 AI다.[사진=엔비디아]

최근 뉴욕 패션위크에서도 AI와 인간이 협업한 작품이 등장했다. LG AI연구원은 초거대 AI '엑사원(EXAONE)'을 기반으로 디지털 휴먼 '틸다'를 제작하고, 박윤희 디자이너와 함께 뉴욕 패션위크에 200여벌의 의상을 선보였다. '무엇을 그리고 싶니?', '금성에 꽃이 핀다면 어떤 모습일까?' 등의 질문에 AI가 이미지나 패턴을 생성하면, 박 디자이너가 이를 이용해 제작하는 방식으로 협업이 이뤄졌다.

AI는 미술뿐만 아니라 작곡 영역에서도 활동 중이다. 광주과학기술원(GIST)이 개발한 AI 작곡가 이봄(EvoM)은 다양한 장르의 음악을 작곡하는 AI다. 이봄은 음표를 오선지에 무작위로 배치하고, 기존에 학습한 음악 지식을 통해 얼마나 자연스러운 곡인지 판단해 작곡을 마친다. 가수 홍진영의 '사랑은 24시간'이나 하연의 'Eyes on you' 등이 이 기술로 제작됐다.

이 같은 AI 창작은 점차 영역을 확장하는 추세다. 오픈AI가 개발한 'GPT-3'는 주어진 주제로 인간 수준의 작문이 가능하며, 마이크로소프트가 개발한 '코파일럿'은 자동으로 적절한 코드를 생성해 개발자의 코딩을 지원한다. 이처럼 향후에는 예술뿐만 아니라 인문학이나 기술 영역에서도 AI 창작활동이 활발해질 전망이다.