[여성과기인] ⑳ 이연수 엔씨소프트 NLP센터장 "초거대 AI 모델 한계 넘겠다"

딥러닝 여명기 신설된 AI TF 멤버로 합류

포괄적·심층 NLP 다루는 R&D 연구 지휘

거대 AI 비효율·윤리문제 극복 방법 주목

디지털 휴먼 만들 시청각·언어 지능 결합

"'불편한 골짜기' 문제 해결해 보고 싶다"

이연수 엔씨소프트 NLP센터장 [사진=유대길 기자 [e-mail]]

사람이 일일이 검증할 수 없을 만큼 방대한 데이터와 연산 자원을 투입해 개발된 초거대 인공지능(AI) 기술로 컴퓨터가 인간의 인지 능력과 표현력을 따라잡는 시대가 왔다. 윤송이 최고전략책임자(CSO)의 선구안과 김택진 창업자 겸 대표의 과감한 투자로 10여년 전부터 자체 AI 연구개발(R&D) 조직을 갖추고 규모를 키워 온 엔씨소프트는 산업계 대세가 된 초거대 AI 모델뿐 아니라 그 한계를 극복할 '차세대 AI 모델' 기술 선점과 실제 사람처럼 시각·청각·언어·감정으로 소통할 수 있는 '디지털 휴먼' 구현 기술 확보에 집중하고 있다. 본지는 엔씨소프트 AI 비전을 실현하기 위해 자연어처리(NLP) R&D를 이끄는 이연수 NLP센터장과 인터뷰를 진행했다. 다음은 이 센터장과 일문일답한 내용.

-간단한 자기소개를 부탁한다.

"엔씨소프트 NLP센터를 맡고 있다. 2014년 엔씨소프트 AI 태스크포스(TF) 참여 연구원으로 입사했다. 그전까지 엔씨소프트에 없었던 NLP 분야 기술을 소개하고 이 기술의 가능성을 사내에 공유하는 일부터 시작해 지금의 NLP센터장 역할까지 하게 됐다."

-NLP센터 역할이 무엇인가.

"NLP센터는 사람이 하는 말을 기계가 알아듣고 거기에 지식을 결합하거나, 추론하거나, 인간 뇌에 해당하는 여러 (사고) 과정을 연구해 사람의 말을 생성하기까지 모든 단계에 대해 종합적으로 연구한다. 전사 AI 연구 차원에서 NLP 분야 중요도를 높게 보고 있어 NLP센터 내에 주 연구 단위별(언어이해, 대화, 생성·번역, 검색) 기술실 네 개를 둘 만큼 심층적으로 연구를 수행하고 있다. 게임 사업을 위한 AI 연구조직처럼 보일 수 있지만 그렇지 않고 게임뿐 아니라 게임과 무관한 다양한 영역에서 AI 연구를 하고 있다. 엔씨소프트는 게임 외에 다양한 소프트웨어(SW) 분야 발전 가능성을 높이는 데 도전하고 있고 이때 AI가 핵심이 된다고 본다. 불확실한 미래에 대비하기 위해 AI를 비롯한 다양한 IT 분야 연구에 투자하는 것이다."

-게임 사업과 관련해 NLP센터 AI 연구 성과가 활용된 사례를 소개해 달라.

"다중접속온라인역할수행게임(MMORPG) 이용자가 실시간 채팅을 할 때 다른 나라 이용자와 소통할 수 있도록 대화 AI 번역 기능을 제공한다. 혈맹, 파티, 길드 등 커뮤니티를 기반으로 흘러가는 MMORPG 안에서 대화는 전쟁이나 전투를 수행하고 지시를 전달하고 재화를 분배하는 기능을 담당한다. 이 덕분에 리니지W 같은 게임에서 한 혈맹에 한국, 대만 이용자들이 섞여 활동할 수 있다. 야구 시뮬레이션 게임 'H3'에서 경기 결과 보고서를 자동 생성하거나 게임 서비스별 사내·외 게시판 내용을 분석하는 데도 우리 기술이 쓰였다. 앞으로 출시되는 게임 대부분이 글로벌 시장을 지향하기 때문에 이와 관련된 업무 비중도 커지고 있다. 출시 전 게임 개발 과정에 외국 지사, 외부 퍼블리셔(유통사) 담당자와 진행하는 업무 소통을 돕기 위한 AI 번역 기능을 개발 중이다."

-센터 AI 기술을 게임 외 사업에 적용하거나 외부와 협력하는 데 쓴 사례도 있는지.

"연구 초기부터 확보된 AI 기술을 게임보다도 먼저 활용한 분야가 신사업이다. 야구 정보 제공 1위 앱인 '페이지(PAIGE)'에 NLP 기술이 많이 쓰였다. 앱에 제공되는 경기 요약, 결과 리뷰, 여러 야구 뉴스를 요약한 뉴스 피드를 생성하고 구단별 채팅창에서 야구 관련 정보를 공유하는 AI 챗봇을 운영하는 데 집중적으로 적용됐다. 팬덤 플랫폼 '엔씨유니버스'에 아티스트가 사회관계망서비스(SNS)에 올리는 게시물을 9개 국어로 자동 번역해 다른 언어권 팬층과 소통하는 것도 돕고 있다. AI가 해야 할 일 중 하나로 실시간으로 다양한 정보를 어떻게 잘 조합해 사용자에게 전달할 것이냐에 초점을 맞춰 외부 조직과 협력한 사례도 있다. 연합뉴스와 협력해 AI 기반 '날씨 기사'나 '연표' 자동 생성, 사진 검색 등 기자 업무를 돕는 기술을 개발하고 우리는 그 데이터를 연구에 활용한다. 특정 게임에 필요한 요소를 의도해 개발하기보다는 과거부터 꾸준히 축적된 NLP 기술을 폭넓게 적용하는 중이다."

-AI TF와 비슷한 시기(2011년 2월)에 출범한 엔씨다이노스와 접점이 있는지.

"엔씨다이노스에서 IT 영역을 담당하는 분들과 기술 관련 얘기를 많이 나눴다. 지금 엔씨다이노스에 (야구 중계) 영상 검색하는 AI 엔진을 제공하고 있다. 초기 NLP 연구 성과로 확보한 AI 기술을 적용할 분야로 야구 앱 페이지를 선정한 것도 그런 배경이 작용했을 것이다. 기술 개발 과정에 페이지에 적용된 AI 기술을 엔씨다이노스 IT 시스템에 적용해본다든지 하는 일도 있었다. 출범 시기가 비슷해 전사 차원에서 관심이 컸고 지금도 사내 교류나 협력을 많이 하고 있다."

-8년 전 'AI랩'에 합류할 당시 상황은 어땠고 지금 NLP센터는 어떻게 바뀌었나.

"앞서 엔씨소프트가 미래 발전 가능성을 보면서 분야를 가리지 않고 다양한 AI를 탐색했고 NLP가 그중 AI의 두뇌에 해당하는 기술임을 인식해 AI TF 안에서 (NLP를 전담할) 팀을 꾸렸는데 지원하는 사람이 너무 없었다. 외부에서 볼 때 왜 게임회사가 NLP 연구를 하나 싶었을 것이다. 전공자 대다수는 엔씨소프트가 이 분야에 장기적으로 투자할 것인지 기대하기 어려웠을 수 있다. 초창기에 여기 합류한 분들은 오히려 게임 회사라 AI와 게임 분야에서 쌓아온 기술이 큰 시너지를 낼 수 있겠다고 상상한 사람들인데 지금도 이분들에게 고마움을 느낀다. 지금 엔씨소프트 NLP센터는 연구 인원수 100명 남짓한 규모 있는 조직이 돼 연구자들 사이에서 크고 깊이 있는 주제로 NLP 연구를 할 수 있는 곳으로 알려져 서로 입사를 추천하고 지원하는 사례가 많다."

-NLP센터가 다른 디지털 비즈니스 기업의 AI 연구 조직과 가장 다른 점은.

"NLP라는 범주 안에 광범위한 연구 주제와 다양한 세부과제(subtask)가 존재한다. 이게 초기 AI TF에서 NLP 팀을 별도 구성하는 계기가 됐다. 지금은 우리 센터 안에 그런 여러 기술을 다루는 연구 부서가 모여 있다. 이 덕분에 여러 분야 연구자들이 함께 토론하고 깊이 있는 연구를 할 수 있다. 대중 영화에서 묘사되는 AI를 보면 이미 NLP 기술에 대한 일반인의 기대 수준은 엄청나게 높은데 그런 기대치에 맞는 결과물을 구현하기 위해서는 한두 명이 아니라 대규모 NLP 연구진이 참여하는 종합적인 연구가 필요하다. 대화형 AI, 검색 AI 등 여러 분야 중 하나를 자신의 관심사로 삼는 연구자가 주위 동료와 교류하면서 다른 분야 연구를 간접 경험하고 성장할 기회가 주어진다. 다른 회사는 검색, 웹툰, 플랫폼, 게임 등 특정 비즈니스나 서비스에 필요한 기술 연구 부서가 제각각 있는 경우가 많다."
 

4개 기술실서 언어이해·생성·검색 기술과 종합된 대화 AI 엔진 개발…디지털 휴먼을 위한 멀티모달AI 연구

이연수 엔씨소프트 NLP센터장 [사진=유대길 기자 [e-mail]]

엔씨소프트 NLP센터 산하의 네 기술실은 저마다 사용하는 기술과 이를 활용해 해결하려는 문제가 다르다. 언어이해 기술실은 무한대 경우의 수를 갖는 사람의 문장 표현을 기계가 이해할 수 있는 형태로 만드는 기술을 연구한다. 이 부서는 기계가 먹는 '배', 타는 '배', 신체 부위 '배' 등을 구별하거나 특정 인물 성명이 지칭하는 대상이 일반인인지, 정치인인지, 배우인지, 알 수 있게 만들어 주는 앞 단계 처리 기술을 다룬다. 생성·번역 기술실은 컴퓨터에 데이터베이스(DB)나 문서 등 여러 형태로 보관된 데이터를 이용해 문장을 만들어내는 기술을 연구한다. 의도한 대로 우리말 언어 표현을 만들어내는 생성 기술과 주어진 내용을 다른 언어로 정보를 빠뜨리지 않고 유창하게 만들어내는 번역은 풀어야 하는 문제에 유사성이 있어 한 부서로 묶였다. 검색 기술실은 실시간 발생 정보나 빅데이터 안에서 자연어로 입력된 사용자 의도에 맞게 문장, 문단을 정확하게 찾아 주는 검색 엔진 기술을 연구한다. 마지막으로 대화 기술실에서는 다른 세 기술실에서 연구한 요소기술을 종합해 사람과 대화를 나누는 대화 AI 엔진을 만드는 연구를 하고 있다. 엔씨소프트의 대화 AI 엔진은 스스로 페르소나를 갖고 실제 인간처럼 상대와의 관계, 비즈니스 목표를 고려해 보유 지식을 이용하고 대화 주제를 선택하고 감정 반응도 수행하는 것을 목표로 한다.

-대화 AI 엔진 기술을 외부에 공개할 예정인지.

"야구 정보 앱 페이지에 대화 AI 기능 '페이지 톡'이 탑재돼 있는데 여기에 강화된 대화 AI 엔진을 적용해 서비스할 예정이다. 또 엔씨소프트의 디지털 휴먼 프로젝트에 핵심적으로 구현돼야 할 기술 중 하나가 사용자와 자연스럽게 대화하는 AI 엔진인데 대화 기술실에서 개발한 대화 AI 엔진이 탑재될 예정이다. 센터 안에는 더 풍성한 대화를 지원하기 위해 멀티모달 AI 연구를 수행하는 '컨버세이션 AI TF' 조직도 만들어져 있다."

-문자·사진·음성·영상 등을 동시에 다루는 '멀티모달 AI' 분야 연구에 어떻게 접근하고 있는지.

"그간 NLP센터와 AI센터 차원에서 각자 해결해야 하는 문제에 주력해 왔는데 최근 디지털 휴먼이라는 대형 프로젝트를 추진하면서 시각·청각·언어 지능을 결합하는 연구를 많이 진행하고 있다. 어떤 사람을 볼 때 눈으로 보면서 그 소리를 들으면 한 가지 정보에 의존하는 것보다 인식 정확도를 높일 수 있다. 사람이 하는 말 내용을 이해할 때 표정을 보고 말소리를 같이 듣는다면 그 내용과 감정까지 더 정확하게 알 수 있게 된다. 이 점을 염두에 두고 여러 지능을 결합한 모델을 만드는 중이다. 인식 단계에 여러 정보를 받아들이게 해 사용자, 감정을 인식하거나 주변 상황을 파악할 수 있는 멀티모달 AI를 개발하고 있다. 표현 단계에서도 의미상 기분 좋은 문장을 말한다면 그 목소리 톤과 빠르기, 표정도 감정에 어울리게 나와야 한다. 단순히 기쁘고 슬픈 정도가 아니라 인간 배우가 표정을 짓듯 흥분·실망과 같은 감정을 담아 어색하지 않은 표정, 목소리로 문장을 표현하는 '이모셔널 익스프레션' 연구를 진행 중이다. 향후 우리가 구현할 디지털 휴먼에 이 모든 기술이 담길 것이다."

-빅테크 기업이 거대 자본을 투입해 초거대 AI 모델 개발에 집중하고 있는데 이에 대해 어떻게 생각하나.

"AI 연구자들이라면 모델 크기를 키워서 어디까지 학습할 수 있을지 궁금해하고 누구나 시도해 보고 싶은 영역이다. 그런데 한편으로는 연구자들이 그걸 꼭 개발하지 않더라도 규모를 키우고 데이터양을 늘려서 AI 성능을 높이는 것에 한계가 있다는 걸 어느 정도 예측할 수 있다. 우리도 규모가 큰 AI 모델을 만들고 있지만, 지금 나온 초거대 AI 모델과 경쟁하기보다는 그 한계를 극복하는 차세대 모델 개발을 지향하고 있다. 초거대 AI 모델이 학습하는 방대한 데이터는 일일이 검증하기 어렵고 학습용으로 수집된 데이터에 내포된 인류의 편향(bias)이 AI 모델에 들어가 AI 윤리 문제를 낳는 사례도 나오고 있다. 시시각각 바뀌는 세상의 방대한 지식을 모델에 다 집어넣는 것이 상식적으로 맞지 않는 부분도 있다. 전 세계 학계 연구자들이 이런 (초거대 AI 모델) 한계를 극복하는 다음 모델에 대해 연구 중이고 우리도 그렇게 접근하고 있다."

-향후 NLP센터 운영 목표와 연구 방향을 알려 달라.

"현재 번역, 검색 등 주요 기술 개발과 디지털 휴먼 프로젝트를 위한 NLP 분야별 AI 연구를 많이 하고 있다. 조직 설립 초기부터 지식과 결합한 자연어 소통 기술에 대한 비전을 유지해 왔다. 영화 속 장면에 묘사된 것처럼 인간과 자유롭게 대화하는 기계를 구현하기 위해 필요한 기술을 만들어 가면서 그때그때 현실적으로 쓸 수 있는 기술을 적용하고 고도화하는 R&D와 제품에 대한 비전을 갖고 있다. 이미 AI 기술은 R&D를 넘어 다양한 산업에 통용되는데 우리 기술이 게임이나 다른 회사의 신사업 영역에서 생산성이나 최종 제품 수준을 높이도록 돕겠다는 기대도 하고 있다. NLP 센터 차원에서 AI 영역의 다른 분야와 결합한 멀티모달 AI 연구도 계속 강화해 나가겠다."

-10여년 전부터 AI 분야 중요성을 예측하고 투자하긴 쉽지 않았을 듯한데 계기가 있는지.

"엔씨소프트 AI TF 초기 멤버는 윤송이 CSO와 함께 SK텔레콤에서 2006~2007년 개발한 플랫폼 형태의 AI 챗봇 '1㎜'를 함께 개발한 사람들이다. 나는 당시 국내 한 대학원 AI 연구실 소속으로 이 프로젝트에 함께 참여했다. 1㎜는 (아이폰 AI 비서) 시리처럼 모바일 기기와 사용자가 자연스럽게 소통하면서 생활을 더 편리하게 하고 상업적인 서비스도 제공하는 플랫폼으로 개발이 추진됐다. 그 연장선에서 엔씨소프트 AI TF가 꾸려졌다. 윤 CSO와 김택진 대표는 이전부터 AI에 대한 비전이 있었는데 본격적인 연구를 위해 집중적으로 투자하겠다는 과감한 의사결정 직후 극초기 딥러닝 논문이 나왔고 연구자들 사이에서 이제 'AI의 겨울'을 극복할 수 있겠다는 기대감이 크게 형성되기 시작했다. 시기가 잘 맞아떨어졌다고 본다."
 

"미지의 세계 찾아 대학원 진학, NLP 도전…디지털 휴먼 '불편한 골짜기' 해결해 보고 싶다"

이연수 엔씨소프트 NLP센터장 [사진=유대길 기자 [e-mail]]

이연수 센터장은 고려대학교 컴퓨터학과 학사, 컴퓨터학과(자연어처리) 석·박사 과정을 마치고 2014년 8월 엔씨소프트 'AI랩(AI Lab)'에 합류했다. 엔씨소프트가 이 조직 규모를 확대하는 동안 그는 NLP랩 랭귀지 팀장, NLP센터 랭귀지 AI랩 실장을 거쳐 올해 6월부터 NLP센터장을 맡고 있다. 언어공학연구회 운영위원, 국립국어원 언어자원구축계획 수립을 위한 산업계 자문 담당, 한국지능정보사회진흥원 AI 학습용 데이터 구축 사업 자문위원, 국립국어원 국어 말뭉치 구축 사업 자문위원, 연세대 AI 언어능력 평가체계 운영 및 말뭉치 정비사업 자문위원, 제7기 기상청 AI 정책자문위원 등을 맡기도 했다.

-컴퓨터학과와 NLP 전공을 선택한 계기는.

"원래 생명공학, 물리학 등 기초과학을 굉장히 좋아했는데 대학교에 들어갈 무렵 윈도 운영체제가 나오고 하드웨어와 SW 기술이 급격하게 발전하는 시기를 맞이했다. 기초과학을 하더라도 앞으로 컴퓨터로 많은 일을 할 수 있겠다고 생각하고 최종적으로 컴퓨터학과를 전공으로 선택했다. 학부 졸업 후에는 SI 업체에 다니면서 기업이 사용하는 여러 SW를 만들어 봤는데 뭔가를 코딩하면 어떤 것이 구현된다는 식의 결정론적인(deterministic) 일이 많다고 느꼈다. 다른 미지의 세계에 대해 더 공부하고 싶어 대학원에 갔고 이미 성숙한 운영체제나 데이터베이스같은 분야보다 상대적으로 덜 알려진 분야에 도전해 보고 싶어서 NLP를 선택했다."

-커리어와 관련해 가장 잘했다고 생각하는 결정과 요즘 고민은.

"학부 졸업 후 일반 SW개발자로 생활하다 대학원에 가기로 결심하고 NLP 전공을 선택한 것, 대학원에서 NLP 연구실에 들어가기로 한 것이 잘한 결정이었다고 생각한다. 원래 불확실성에 대해 겁내기만 하기보단 그걸 좀 더 긍정적으로 보고자 하고 잘 모르는 영역에 도전을 좀 즐기는 편이기도 하다. 업무적인 고민이라면 이제까지 연구자로서 주어진 역할보다 R&D 조직장으로서 역량을 더 많이 필요로 하다 보니 이 점에서 내 역량이 충분한지, 적성에 맞는지 의문이 들 때가 있다. 양쪽 역할을 모두 잘하면 좋겠지만 쉽지 않은 부분이다."

-앞으로 인생 목표가 있다면.

"디지털 휴먼이라는 연구 과제를 받았는데 이것은 표정과 같은 부분을 고려해야 한다는 점에서 이제까지 NLP 연구에서 접해 온 AI 챗봇과는 다르다. 아직 기술이 완성되지 않았지만 (결과물의) 사실성을 높이려고 할수록 불편한 골짜기(uncanny valley)가 느껴지는 역효과가 생길 수 있다. 사람들이 실제로 좋아할 것인지 어떨지 고민될 만한 지점에 도달하고, 기술적으로 그걸 해결해 보고 싶다. NLP 연구자로서 5~6년 안에 도달해 보고 싶은 영역이다."

-존경하는 인물과 삶의 지표로 삼는 격언이 있는지.

"본인과 주위 환경의 어려움을 극복하면서 연구 활동을 지속한 사람들을 존경하고, 그런 관점에서 아인슈타인 같은 인물을 좋아한다. 그의 사생활과 같은 부분은 제외하고, 연구자로서. 그의 유명한 사진 중에 연로한 모습이 나오는데 그건 나이를 먹고 늙을 때까지 연구 활동을 계속했다는 점을 보여 준다. 양자역학 이런 것을 받아들이지 못하고 (주류 해석인 코펜하겐 해석을 제안한 물리학자 닐스 보어와 논쟁할 때) 자기가 실수한 것도 인정할 줄 안다. 그게 연구자들에게 많은 영감을 주는 것 같다. 그가 했다고 알려진 '한 번도 실수하지 않은 사람은 한 번도 새로운 것을 시도해 보지 않은 사람이다(A person who never made a mistake never tried anything new)'라는 말도 종종 생각한다. 어떤 새로운 도전을 하다 보면 (해결이) 안 되는 경우도 많다. 처음에 다양한 방법을 시도하면서 수개월에서 1년 내내 연구한 결과물이 쓰이지 않는 경우도 있고 나중에 실수했다는 게 밝혀질 때도 있다. 이건 R&D 종사자들에게 흔한 일인데 이걸 심각하게 여기면 계속할 수 없다. 실수해도 계속 도전해야 한다는 생각이고 다른 연구자들에게도 이렇게 얘기한다."

-동료나 후배 여성과기인에게 읽어볼 만한 책을 추천해 달라.

"청소년 필독서 중에 '아몬드'라는 소설책이 있는데 청소년기인 아들과 대화를 나누려고 최근에 읽었다. 인간을 이해하는 데 좋은 책이다. 선천적으로 타인의 감정을 이해하지 못하는 병을 가진 친구가 조금씩 사회화하는 과정을 담은 내용이다. 처음엔 서툰데도 주위 사람의 영향을 받아 변화해 나가면서. 책은 최종적으로 보통 사람과 똑같아지는 건 아닌데, 사람과 교류하고 공감하는 것이 사람을 살아가게 한다고 얘기하고 싶은 것이다. 부모들은 내가 바쁘고 일이 많은데 아이가 잘 크고 있는지 고민될 때가 많다. 아이는 원래 부족한 상태에서 성장해 나가는 것인데 어른들이 완성된 모습을 기대하는 경향이 있다. 책 속에서 아이에게 이럴 때는 이런 감정을 표현해야 한다고 할머니와 엄마가 가르쳐 주는 장면이 나온다. 이 등장인물에겐 극단적인 병이 있는 것이지만 이런 부분에 나도 부족함이 있는 인간인데, 사람들이 이런 부족함을 인정하면서 서로 도움을 주고받으며 살아가는 게 의미가 있다고 생각했다. 엄마로서 아들도 그런 점을 느꼈으면 좋겠다고 생각했다."

-여성과기인으로서 느낀 고충과 정부에 바라는 점은.

"우리나라는 사람이 자원이고 국력인 나라인데 과학기술뿐 아니라 여러 영역에서 여성들이 결혼하고 자녀를 보육해야 할 때 사회생활을 포기하는 과정을 겪는다. 기술이 점점 바뀌면서 트랙에 맞게 공부하고 숙련도를 높여가야 할 시기에 경쟁이 많은 영역에서 타고난 재능만으로 할 수 있는 부분과 할 수 없는 부분이 있다. 나는 대학원에 다닐 때 평일과 토요일까지 아침 10시부터 밤 10시까지 종일 공부를 했는데 그렇게 하지 않으면 나만 연구에 덜 참여하는 환경이었다. 아이가 있을 때였다. 태어난 아이에게 가장 필요한 사람이 엄마라는 것, 그 역할을 대신할 타인을 신뢰할 수 없는 문제, 이런 어려움이 있다. 장시간 어린이집에 머물던 시기를 지나 학교에 다닐 때 일찍 마친 뒤 돌봄에 공백이 생기고 학업을 중시하는 시기에 또 어려움이 생긴다. 여성들이 (커리어를) 포기하는 시점이 이 두 단계를 겪으면서 많이 온다. 이 위기의 순간부터 아이가 혼자서 무언가를 할 수 있는 시점까지 몇 년간이라도 이 부담을 완화할 방법을 만들고 지원해 주면 좋겠다."