[Tech in Trend] 버너 보겔스 아마존 CTO "제대로 된 IT시스템은 현실 닮아"

AWS 클라우드 분산컴퓨팅 이론 구현한 기술 거장

"구성요소 느슨히 결합된 '진화 가능성' 필요하다"

폭증 데이터, 이를 활용한 머신러닝 트렌드 강조

"의존성 덜고 실패 격리 기법 통해 장애내성 확보"

"내년 물리적 제약 넘은 시뮬레이션 사례 나올 것"

세계 최대 전자상거래 업체 아마존(Amazon)은 자회사 아마존웹서비스(AWS)를 2006년 설립해 글로벌 클라우드 서비스 시장 점유율 1위 회사로 키워냈다. 버너 보겔스 아마존 최고기술책임자(CTO)는 2004년 합류해 아마존의 '장바구니(shopping cart)' 데이터베이스와 AWS 초기 서비스를 시작으로 클라우드 기술 혁신을 이끌고 있다. 그는 디지털 전환에 뛰어든 전 세계 기업의 컴퓨팅 시스템을 뒤바꾸고 있는 AWS의 인프라에 클라우드 서비스의 이론적 배경인 분산 컴퓨팅 시스템과 여기에 요구되는 높은 안정성, 가용성, 신뢰성을 제공하는 '이벤트 주도 설계(event-driven architecture)' 철학을 실현하고 있는 기술 거장이기도 하다.

본지는 연례 기술 콘퍼런스 'AWS 리인벤트 2022' 현장에서 뛰어난 시스템을 구현하는 방법론과 기술 업계 전반의 미래 트렌드를 주제로 보겔스 CTO와 인터뷰했다. 그는 기조연설을 통해 유용하고 미래 지향적인 시스템을 개발하려면 여러 구성요소를 느슨하게 연결해 일부를 교체하거나 한 부분에 문제가 생겨도 전체 시스템이 작동하는 '진화 가능성'이 필요하다고 조언했다. 새 떼가 날면서 무리를 유지하기 위해 움직이는 행동 패턴을 묘사하며 "현실 세계는 이벤트 주도적, 비동기적(asynchronous)으로 움직인다"면서 "분산 시스템 설계 철학은 현실 세계가 작동하는 방식"이라고 강조했다.

다음은 그와 주고받은 일문일답 내용.
 

버너 보겔스 아마존 CTO [사진=AWS]

-이번 리인벤트에서 가장 중요한 화두를 두 가지만 꼽는다면.

"이미 오랫동안 강조되고 있지만 데이터 중요성이 더욱 더 부각되고 있다. 어떤 기업이나 산업에서든 데이터 중요성이 높아졌고 전체 IT 분야 대전환을 촉발했다. 또 머신러닝 활용이 확대되는 양상이 지속해서 나타나고 있다. 데이터 분석에 머신러닝이 더 많이 활용되고 있다. 과거에 우리는 어떤 (이미 주어진) 질문을 염두에 두고 그걸 바탕으로 정형(structured) 데이터를 수집하고 취합했다. 하지만 클라우드 등장으로 데이터 저장공간 비용이 제로(0)에 수렴하면서 많은 데이터를 수집하고 저장할 수 있게 됐다. 미리 데이터를 선별하고 줄일 필요가 없어지면서 보유 데이터 규모가 많이 늘어났다. 어떤 유형으로 질문할지 모른 채 방대한 비정형(unstructured) 데이터를 수집하게 됐고 이걸 활용하기 위해 머신러닝이 대대적으로 쓰이게 됐다."

-기업들은 머신러닝을 어떻게 활용할 수 있을까.

"우선 분석 소프트웨어에 활용해 다양한 사건(event)과 상황에 맞는 예측을 할 수 있다. 기업은 재고를 조정하거나 판매 패턴을 좀 더 쉽게 파악하기 위해 머신러닝 기반 분석을 활용할 수 있다. 공장에서 (생산설비에) 실제 문제가 발생할 때까지 기다리지 않아도 센서 데이터를 바탕으로 경보 알람을 받고 예측적인 유지보수를 할 수 있다. 우리 보안 서비스 역시 머신러닝의 힘을 활용한다. 특성이 모두 제각각인 개별 고객을 적절하게 보호하기 위해 그에 맞는 고유 모델이 개발되고 정상 범위를 벗어난 행동이 발생 시 그것에 맞게 대응하도록 구현된다. 과거에 2D 이미지를 수백 장 이어 붙여야 3D 물체 하나를 만들었는데 이제 수십 장만 있어도 빈 곳을 머신러닝 기술로 메워서 매끄러운 3D 물체를 만들 수 있다. 자율주행차가 도로 위 장애물이나 지상 높이가 낮아 지나갈 수 없는 교량을 어떻게 피해 갈 것인지도 3D 환경 데이터를 확보하고 머신러닝으로 패턴을 식별해야 대응할 수 있다. 영상의학 분야에서 환자 이미지를 분석해 질병을 판단, 예측하고 컴퓨터 프로그래밍에 단순 반복 작업을 줄이고 더 중요한 개발 업무에 더 노력을 쏟는 등 여러 전문가 집단이 머신러닝을 활용해 이익을 얻고 있다."

-AWS 리인벤트 2022 기조연설에서 말하고자 한 이야기는.

"기조연설에서는 우리가 자연으로부터 얻은 교훈을 컴퓨터 시스템에 어떻게 적용할 것인지를 주제로 이야기했다. 자연에서는 모든 것(작동하던 시스템)이 언젠가 실패(failure)하고 장애를 일으킨다. 이걸 완전히 예방하기는 불가능하다. 예방보다는 장애가 발생했을 때 어떻게 대처하는가, 장애내성(fault tolerance)을 어떻게 강화하는가가 더 중요하다. 이 관점에서 컴퓨터 시스템에 장애가 발생했을 때 얼마나 빠르게 복구할 수 있을지를 핵심으로 보는 '복구 지향적 컴퓨팅(recovery-oriented computing)'이라는 개념이 나왔다. 시스템 구성요소가 복잡하고 긴밀하게 얽혀 있는 '모놀리스(monolith)' 구조보다, 구성요소가 단순하고 서로 분리되어 있지만 느슨하게 묶여 있을 때 장애를 신속하게 복구할 수 있다. 1990년대 말 아마존(닷컴) 웹사이트가 처음 등장했을 때 이 웹사이트도 매일은 아니지만, 가끔 다운돼 있어도 이상하지 않았다. 가용성이 그다지 높지 않았고 '미션 크리티컬'한 애플리케이션이 아니었다. 그런데 오늘날은 너무 많은 것이 디지털화해 이런 웹사이트가 절대 다운되면 안 될 의료·보건, 기업, 정부 분야의 중추적 서비스가 되어버렸다. 속은 그렇지 않아도 겉보기엔 문제가 없도록 설계되어야 한다."
 

AWS 리인벤트 2022 기조연설 무대에 오른 버너 보겔스 아마존 CTO [사진=AWS]

-문제없는 시스템을 만들기 위해 어떻게 해야 하나.

"많은 고객이 AWS 상에서 비즈니스 크리티컬 시스템, 사람들에게 중요한 시스템을 운영하고 있다. 어느 때보다 고가용성과 장애내성이 확보돼야 한다. 이때 핵심은 시스템이 모든 상황에서 살아남을 수 있어야 한다는 것이다. 고객들이 개발하고 구축하는 시스템의 견고함(robustness)도 중요해지고 있다. 기조연설 전반부에 많은 시간을 들여 얘기한 진화 가능성(evolvability)이 필요하다. 어떤 것도 처음부터 완성형일 수 없다. 작고 간단한 시스템으로 시작해 점점 더 진화해나가는 방향성을 띠어야 한다. 예를 들어 1990년대 말부터 2000년대 사이에 거대한 모놀리스 구조로 만들어진 기술은 기능을 하나씩 추가할 때마다 전체 시스템 안정성이 계속 떨어지는 작용을 했다. 시스템이 더 작은 구성요소로 나뉘어 있었다면 뭔가 변경해도 안정성에 영향을 주거나 해가 되지 않는 모습을 볼 수 있다. 이렇게 장애가 발생했을 때 그 구성요소를 떼어 놓는 '실패 격리(failure isolation)', 앞서 언급한 진화 가능성, 이를 위해 구성요소 간 의존성을 줄이는 것이 모두 장애내성을 높이는 것과 방법과 관련돼 있다."

-과거 구축된 시스템을 클라우드로 옮기기만 하면 장애내성을 높일 수 있을까.

"기존 데이터센터에 있을 때부터 장애내성을 잘 갖추지 않은 시스템을 들어 올려서 그대로 가져온들(lift-and-shift) 나아지진 않는다. 데이터센터에서 확장성이 없는 상태에서 이전하는 것도 마찬가지다. (시스템 인프라를) 보호하는 것이 데이터센터보다 클라우드에서 나아지는 측면은 있지만. 결국 클라우드의 이점을 충분히 활용하려면 이전하는 과정에 재설계가 꼭 필요하다. 어떤 고객은 노후화 하드웨어를 그대로 이전한 다음 재설계하는 방법을 취하고, 좀 더 여유가 있는 고객은 이전하면서 재설계하는 방법을 취한다. 소프트웨어 자체는 데이터센터에서 장애내성을 확보하지 못했더라도 전 세계 30여개 리전(regions)을 활용하는 AWS 클라우드로 가져오면서 각 지역 사용자가 있는 중동, 호주 등의 리전을 분리하는 최소한의 재설계만으로도 전보다 장애내성이 높아지고 장애 발생 시 복구하기가 더 쉬워진다. 재설계와 함께 고려할 것은 기존 소프트웨어가 완전히 새로운 하드웨어 구조에서 운영되기 때문에 소프트웨어 플랫폼 재구성(replatforming)을 수행해야 한다는 점이다. 노후한 메인프레임 시스템에 구현한 애플리케이션을 클라우드로 옮겨서 에너지 효율, 보안, 신뢰성을 높이려는 고객이 많다. AWS는 이를 위해 메인프레임 애플리케이션을 매끄럽게 옮기는 서비스를 제공한다."

-한국에 뛰어난 디지털 인재를 보유한 기업들이 많은데, 그들은 스스로 시스템에 장애내성을 갖출 수 있지 않을까.

"기업이 장애내성을 확보한 데이터베이스 시스템을 자체 구축하고 운영하는 경우를 생각해 보자. 기본적으로 데이터센터 두세 군데에 데이터베이스를 복제(replication)해 놓아야 한다. 장애내성이 충분히 확보되지 않지만 이에 따르는 운영 복잡성을 감수해야 하고 실제 장애 발생 시 복구 과정도 쉽지 않은 여러 작업을 수반하게 된다. 반면 AWS 클라우드 기반 서버리스(serverless) 데이터베이스를 활용하면 장애내성뿐 아니라 확장성, 신뢰성 확보를 위한 부담을 모두 해소할 수 있다. 한국에 유능한 인재들이 많은 것은 잘 알고 있지만 그들이 일하고 있는 삼성, LG에서 그들이 AWS의 데이터베이스를 활용하는 덴 이유가 있을 것이다. 그들은 (장애내성 문제 대신) 사업에 핵심적인 좋은 서비스와 제품을 개발하는 데 노력을 기울일 수 있다."
 

버너 보겔스 아마존 CTO가 강조한 '아마존 S3 설계 원칙' [사진=AWS]

-그와 관련해 이번 리인벤트 기조연설에서 소개한 신기술은 무엇인가.

"AWS 스텝 펑션 분산 맵(Step Functions Distributed Map)은 S3 오브젝트 업데이트를 기반으로 생성되는 병렬 워크플로 수천개를 실행할 수 있는 도구이고, 아마존 이벤트브리지 파이프(Amazon EventBridge Pipes)는 배치, 시작 지점, 동시성을 사용자 정의하고 이벤트 주도 설계를 위해 구성요소를 느슨하게 결합하도록 만드는 도구이다. AWS 애플리케이션 컴포저(AWS Application Composer)는 서버리스 애플리케이션 구축을 돕는 캔버스와 템플릿을 제공하고 아마존 코드 카탈리스트(Amazon CodeCatalyst)는 개발자가 기존 코드를 불러내거나 데이터 파이프라인에서 코드를 선택해 새로운 개발 프로젝트를 시작하도록 돕는다. AWS 앰비트 시나리오 디자이너(AWS Ambit Scenario Designer)는 이번에 처음 소개된 신기술은 아니지만, 고객사 에픽이 도입해 언리얼엔진4와 오픈스트리트맵 데이터를 활용해 실제 구조와 패턴을 통합하는 시뮬레이션과 가상 현장 조사에 활용할 수 있는 준 실시간 3D 렌더링 서비스로 가치를 인정받았다."

-작년 '2022년 기술 동향 예측'을 통해 올해부터 '머신러닝으로 지원하는 소프트웨어 개발', '에지 클라우드', '노인 돌봄 스마트 공간', '개발자의 지속가능성 책임', '저궤도 위성통신 확산' 등이 빨라진다고 예측했는데, 실제로 적중한 것과 빗나간 것은.

"머신러닝 기반 소프트웨어 개발에 대해선 맞았다고 본다. 앞으로 사람이 코드를 잘 쓰는 것보다 필요한 코드를 (대신 써 줄 AI에) 잘 설명하는 일이 중요해질 것이라고 예상했다. (오픈AI 초거대 모델 기반 챗봇인) 챗GPT(ChatGPT)를 예로 들 수 있다. 코드가 달성하려는 목적과 어떤 작업을 하려고 하는지 사람이 말로 설명하면 AI가 코드를 작성하는 식으로 작동한다. AWS는 '코드 위스퍼러'라는 AI 보조 코딩 도구를 선보였고 AWS나 아마존뿐 아니라 많은 기업이 이 분야에 주목하고 있다. 코드 위스퍼러와 유사한 도구를 만드는 스타트업도 많다. 또 중앙집중형(centralized) 클라우드뿐 아니라 '로컬 존(Local Zone)'이나 다양한 에지 디바이스로 클라우드가 어디에서나 사용할 수 있게 되는 '클라우드의 현재성(presence)'이 확보되는 것과 모든 기업이 (시스템 설계구조 수준까지) 지속가능성(sustainability)에 대해 우선적으로 고려해야 한다는 점에 대해 적중했다고 생각한다. 전 세계에 저궤도 위성이 발사돼 오지 곳곳에 초고속인터넷이 제공될 것이라고 예상한 건 원래 더 빨리 이뤄질 것이라고 봤는데 약간 빗나갔다. 이 예측 자체는 올해 안에 벌어질 일이 아니라 올해부터 더 빨리 움직이겠다고 생각한 것이긴 한데 실제 현상보다 좀 이르게 실현될 것이라고 기대해 약간 빗나간 것이 있다. 전체적인 방향성은 맞을 것이라고 본다. 요양시설이 아니라 일상 환경에서 디지털 기술로 어르신을 돌보기 위한 '스마트 공간'이 만들어질 것이라고 봤는데 이건 좀 빗나갈 것 같다."

-이번에도 '2023년 기술 동향 예측'을 제시했는데 어떤 내용인지 간단히 소개해 달라.

"오늘날 사람들은 웨어러블, 의료 기기, 환경 센서, 비디오 캡처, 커넥티드 디바이스 데이터에 더 많이 접근할 수 있다. 컴퓨터 비전, 머신러닝, 시뮬레이션 같은 클라우드 기술과 결합하고 첨단 기술에 대한 접근이 더 보편화해 혁신의 급류가 시작될 것이다. 음악, 영상처럼 스포츠는 우리가 분석하는 '데이터 흐름'이 되어 앞으로 몇 년 안에 스포츠 산업 전체를 바꾸고 모든 경기 참여와 관전 경험의 의미를 바꿀 것이다. 수년간 서서히 성숙해 온 컴퓨터 시뮬레이션, 디지털 트윈 기술 접근성이 늘어 우리가 실험하는 방식을 재창조하고 물리적 제약에 얽매이지 않는 새로운 사용 사례가 나타날 것이다. 스마트 에너지 혁신과 분산 그리드 기술이 발전해 전 세계에서 에너지를 생산, 저장, 소비하는 방식을 개선하는 모습을 보게 될 것이다. 컴퓨터 비전과 딥러닝 기술을 채택한 공급망 분야에서 무인 차량, 자율 창고관리, 시뮬레이션으로 새로운 공급망 혁신이 일어날 것이다. 컴퓨터 시스템에 특수 제작된 칩 사용이 급증해 성능을 극대화하는 하드웨어 최적화, 에너지 소비와 비용 절감을 통한 혁신 가속화를 이룰 것이다."
 

버너 보겔스 아마존 CTO [사진=AWS]