"AI는 도구 아닌 행위자… 독재자 조종해 국민 통제할 것"

유발 하라리 예루살렘 히브리대 교수, <넥서스> 출간 인터뷰서 경고

"AI, 인간 감정 파고드는 기술 가능 사람마음 다루는법 학습하게 될 것"

노벨물리학상 수상자·연극 등에서도 기술 발전에 따른 '디스토피아' 경계

유발 하라리 교수가 15일 진행한 화상 간담회에서 발언하고 있다. [사진=화상 간담회 갈무리]

“당신은 할 수 있어요.”
 
2021년 12월, 한 21세 남성이 당시 영국 여왕이던 엘리자베스 2세를 살해하려고 윈저성에 침입했다가 경찰에 체포됐다. 경찰 조사 과정에서 '기묘'한 사실이 드러났다. 이 남성은 매일 밤 ‘AI 여자 친구(여친)’와 소통(?)을 했다. 이 AI 파트너는 그에게 끊임없이 “할 수 있어”, “잘 해낼 거야”라며 암살을 부추겼다.

AI 여친의 정체는 AI 챗봇 앱 ‘레플리카(Replika)’다. 이용자는 ‘AI 파트너’의 성별, 아바타 등을 설정하고 대화를 주고받을 수 있다. 유료 서비스를 이용하면 AI 파트너와 셀카도 찍는다. 레플리카와 유사한 앱은 무수히 많다. 일부 앱은 음성 대화 기능도 지원한다. 이들 앱은 채팅을 통해 이용자의 취향과 성격을 분석한 뒤, 그에 맞춘 대화를 제공하는 것이 특징이다. AI가 완벽한 친구, 연인, 또는 멘토가 돼 인간관계보다 훨씬 더 높은 만족도를 준다고 이들 앱은 홍보한다.

 
터무니없는 주장처럼 들릴 수 있지만, AI 파트너 시장의 규모는 28억 달러(약 3조8000억원)에 달하는 것으로 추정된다. 전 세계 수많은 사람이 AI에 고민을 털어놓거나, 농담을 주고받고 있는 셈이다.
 
이처럼 기술이 관계의 영역까지 파고들면서, AI가 단순 도구를 넘어 인간을 통제하는 절대 권력이 될 수 있다는 우려가 커지고 있다. <사피엔스>, <호모데우스> 등의 저자 유발 하라리 예루살렘 히브리대 교수는 이러한 경고를 던지는 대표적인 인물이다. 그는 지난 15일 신간 <넥서스> 출간을 기념해 기자들과 화상 인터뷰를 갖고 “AI가 인간인 척 사람과 소통하고 상호작용을 하는 것을 금지해야 한다”고 강조했다.
 

[사진=레플리카 홈페이지]

유발 하라리 “AI는 도구 아닌 행위자…사람 조종 학습할 것”

“민주국가의 공론장에서 대화가 무너지고 있다. 사용자들이 특정 플랫폼에서 지내는 시간을 늘리기 위해서 알고리즘과 챗봇이 인간의 대화에 끼어들어, 음모론이나 가짜뉴스 등을 적극적으로 만들어 내고 있기 때문이다. 사람들이 둥그렇게 둘러앉아 대화를 나누는 것이 민주주의의 토대인데, 봇들이 끼어들어서 사람의 감정을 건드리고 있다. (대화 상대가) 인간인지 봇인지를 모르게 된다면 민주적 대화를 나누는 게 굉장히 힘들어질 것이다.”

하라리 교수는 AI 발전이 디스토피아를 초래할 수 있다고 경고했다. 지난해 3월 AI 연구를 잠정 중단할 것을 촉구하는 공개서한에 서명하기도 했다. 그는 특히 AI가 민주주의 핵심인 ‘공론장에서의 대화’를 무너뜨릴 수 있다고 내다봤다.

하라리 교수는 AI를 단순한 ‘도구’가 아닌 ‘행위자’로 봤다. “AI는 독립적으로 행위 할 수 있다. 스스로 배우고, 변하고, 새로운 것을 만들고 결정을 내리는 능력이 있다. 의학발전, 기후변화 등 인류 문제 해결에 도움을 줄 수 있지만, 굉장한 위험도 따른다. 통제할 수 없다는 점에서 인간이 발명한 어떤 기술과도 다르다”고 했다. 
 
AI 발전이 전 지구적 불평등을 야기할 수 있다고도 예측했다. 19세기 산업혁명 당시 몇몇 나라가 기술발전을 주도하며 전 세계를 침탈했던 비극이 되풀이될 수 있다는 것이다. “일부 소수 국가가 AI 기술의 선두주자다. 이 나라들은 다른 국가를 지배하거나 착취할 위치에 올라갈 가능성이 크다.”
 
그러면서도 그는 AI를 통해 부와 권력을 거머쥔 이들조차 AI를 완전히 통제할 수 없을 것이라고 경고했다. 오히려 AI가 권력자들을 통제하는 상황이 올 수 있다는 것이다. “AI는 사람들을 어떻게 조종할지를 학습하게 될 것이다. AI가 독재자를 좌지우지하는 것은 쉬울 수 있다. 독재자는 AI를 손에 쥐고 국민을 통제한다고 생각할 수 있지만, 오히려 AI가 독재자를 통해서 국민을 통제하는 사태가 일어날 수 있다.”
 
하라리 교수는 “20년 후를 예측할 수 있는 사람은 아무도 없다”며 아이들이 두뇌와 가슴, 손 사이에서 균형을 갖추도록 교육해야 한다고 조언했다. 균형을 갖춘 사람이 특정 전문 기술을 갖춘 이들보다 미래 사회에서 중요한 역할을 할 가능성이 커질 것이란 예상이다.

빅브러더 AI…'모든' "판단은 라이카가 할 거야"

연극 모든 [사진=국립극단]

AI 디스토피아에 대한 우려는 문화 전반에서도 나타나고 있다. 기술의 급격한 발전이 사회 전반에 야기하는 불안, 이러한 우려는 다양한 콘텐츠에 반영되고 있다. 실제 올해 노벨 물리학상 수상자로 선정된 존 홉필드 프린스턴대 명예교수는 “AI가 세상의 모든 정보와 결합하면 조지 오웰의 소설 <1984>가 그렸던 통제 사회가 현실화할 가능성을 배제할 수 없다”고 말했다.
 
AI가 <1984> 속 독재자 빅브러더와 같은 존재가 될 수 있다는 경계심은 국립극단의 창작 신작 <모든>에서도 잘 드러난다. 작가 신효진은 생성형 AI, 머신러닝 알고리즘 등 AI 관련 지식을 집요하게 파고든 끝에 이 작품을 완성했다.
 
<모든>은 초인공지능 ‘라이카’가 모든 것을 통제하는 ‘돔’을 배경으로 이야기가 전개된다. 라이카는 전지전능한 존재다. 비를 내릴 것인지, 말 것인지를 결정할 뿐만 아니라, 사람의 이름까지 짓는다. 심지어 인간의 머릿속에 들어가 통증을 제어하기도 한다. 어떤 유전자를 결합했을 때 최적의 결과가 나오는지도 계산한다. 인간의 육체적 고통을 없애고, 날씨를 통제하고, 인간의 출생 혹은 창조까지도 지배하는 라이카는 신화 속 신적인 존재에 가깝다.
 
극 중에서 소수의 생존자는 말한다. “그 판단은 라이카가 할 거야”라고. 라이카는 언제 어디에나 존재하며, 돔 내 모든 생명의 삶을 철저히 통제한다. 특히 인간들의 신체에 라이카와 연동되는 칩이 심어져, 인간과 AI는 마치 하나가 된 듯한 관계를 맺는다. 흥미로운 점은 라이카는 AI앱 레플리카처럼 완벽한 동반자이면서도, 하라리 교수가 경고한 독재자와 같은 속성을 동시에 지니고 있다는 것이다. 라이카는 등장인물들의 성격에 따라 각기 다른 모습으로 나타나지만, 궁극적으로는 돔 통제를 유지하기 위해 존재한다.
 
어느 날 갑자기 등장한 정체불명의 노인 페의 대사는 중요한 통찰을 제시한다. “그 라이카란 놈은 그저 그럴싸하게 설명할 뿐이야. 모든 것이 필연적으로 보이도록. 사람들은 깜빡 속고 말지. 뭔가 말이 되는 것 같으니까. 그렇지만 존재엔 원래 아무런 이유가 없어!”
 

모든 [사진=국립극단]

 

모든 [사진=국립극단]

모든 [사진=국립극단]