아마존·넷플릭스의 운영장애 실험도구, AWS 서비스로 나온다

버너 보겔스 아마존 CTO의 '카오스엔지니어링' 예찬

분산시스템 테스트용 '폴트 인젝션 시뮬레이터' 공개

아마존과 넷플릭스같은 거대 글로벌 인프라를 운영하는 기업들의 장애 대비용 도구가 아마존웹서비스(AWS) 클라우드 서비스로 출시된다. AWS는 이 서비스가 꼭 거대한 인프라를 운영하는 기업이 아니더라도 유용할 것이라고 강조하고 있다.

버너 보겔스 아마존 최고기술책임자(CTO)는 15일(미국시간) 진행된 AWS의 연례 컨퍼런스 '리인벤트' 키노트를 통해 'AWS 폴트 인젝션 시뮬레이터(Fault Injection Simulator)'라는 새로운 서비스를 내년초 선보일 예정이라고 밝혔다.

보겔스 CTO는 폴트 인젝션 시뮬레이터를 소개하며 "우리는 '카오스엔지니어링(chaos engineering)'이 아마존이나 넷플릭스같은 대규모 서비스를 운영하는 기업뿐아니라 모두를 위한 것이라고 생각한다"며 "클라우드에서 카오스실험 수행 프로세스를 단순화하기 위해 만들어진 새 서비스를 사전 발표할 수 있어 기쁘다"고 말했다.

카오스엔지니어링은 기술업계에서 화두가 되고 있는 분산시스템 장애대응 방법론이다. 통제된 환경에서의 실험을 통해, 실제 프로덕션 시스템이 돌아가고 있는 클라우드서비스 환경에서 개별 서비스의 상호작용으로 서비스 장애와 같은 예측할 수 없는 결과가 발생할 가능성을 줄이고, 이런 상황이 벌어지기 전에 잠재적인 문제점을 찾아 미리 해결한다는 개념이다.

보겔스 CTO는 "AWS 폴트 인젝션 시뮬레이터는 애플리케이션의 실패가능경로(failable path)를 쉽게 찾도록 만들어 주는 완전관리형 카오스엔지니어링 서비스"라며 "개발자들이 이를 쉽게 설정하고 AWS 서비스 영역 전반에 걸쳐 통제된 카오스엔지니어링 실험을 수행할 수 있도록 돕는다"고 설명했다.

기업들은 폴트 인젝션 시뮬레이터를 활용해 운영 중인 애플리케이션에 크래시를 일으키기 위해 의도적으로 불량한 데이터를 보냄으로써 "알 수 없는 미지(unknowable unknowns)를 발견"하도록 해준다. 기업은 잘못된 형식의 데이터가 웹사이트 폼, API, 모바일 애플리케이션을 통해 전송될 때 벌어질 수 있는 상황을 파악하기 위해 이런 채널을 모두 테스트해야 한다.

보겔스 CTO는 "코드가 완벽하게 작성됐다 하더라도 패킷이 멈추거나 예상치 못한 트래픽 최대치가 발생할 수 있다"며 "오늘날 잘 구축된 클라우드 애플리케이션은 모두 서로 맞물려 돌아가는 십여개 서비스와 컴포넌트에 의존할 수 있고, 장애는 모든 계층에서 발생할 수 있다"고 지적했다. 그는 "애플리케이션이 이런 이벤트가 발생시 어떻게 움직일지 이해하려면 카오스엔지니어링이 그걸 위한 최선의 테스트 방식"이라고 덧붙였다.

카오스엔지니어링은 간단히 말해 IT부서와 개발자들이 일반적인 예측 시스템이 아니라 실험적으로 인프라에 장애요소를 집어넣음으로써 특정 문제에 애플리케이션이 어떻게 반응할지 파악하는 방법이다. 이런 결함은 기본 트래픽 부하, 데이터베이스 호출 레이턴시 추가, 타임아웃 및 재시도 무효화, 컴퓨트 네트워킹 데이터베이스 기저의 장애, 이밖에 API 토플링 또는 서버 에러와 같은 제어플레인 계층 장애 등 여러 잠재적인 실패지점을 포함할 수 있다.

폴트 인젝션 시뮬레이터로 카오스엔지니어링 실험이 한 번 완료되면 AWS는 인프라상의 이론적인 약점을 판정하고, 프로덕션 네트워크 안에서 그런 결함을 회피하기 위해 개선해야 할 사항들을 식별하기 위한 데이터를 수집한다.

보겔스 CTO는 "많은 사람들이 카오스엔지니어링이 회복탄력성을 위한 것이라고 생각하고 그건 사실이지만 그뿐아니라 이를 통해 성능향상 또한 이룰 수 있다"며 "이건 모니터링의 사각지대이자 팀들이 빈번하지 않은 심각한 이벤트에 대응할 수 있는 방법을 습득할 수 있는 경험"이라고 주장했다.

그는 "카오스엔지니어링은 클라우드에서 시스템 운영을 테스트하기 위한 최상의 방법이고, AWS의 상품은 지금까지 이런 도구를 쓰지 못하도록 한 일부 기업들과 같은 수준의 전문지식을 필요로 하지 않는다"고 덧붙였다. 또 "이런 기능을 서비스로 제공함으로써 우리는 클라우드에서 더 강력하고 내구성이 뛰어나며 신뢰성이 높은 시스템을 구축하는 데 아주 긍정적인 영향을 줄 수 있다고 본다"고 말했다.
 

버너 보겔스 아마존 최고기술책임자. [사진=아마존웹서비스 리인벤트 키노트 영상]