​IBM, ‘아파치 스파크’로 실시간 데이터 처리 능력 가속화

아주경제 한준호 기자 = IBM은 실시간 데이터 처리 능력을 가속화시킬 수 있는 아파치 스파크를 자사의 15개 핵심 분석 및 커머스(Commerce) 솔루션에 연결해 새롭게 출시했다고 밝혔다.

IBM은 또한 자사의 블루믹스 상에서 아파치 스파크의 IBM 분석 서비스인 SaaS(Spark-as-a-Service)의 제공이 가능해졌다고 발표했다.

앞서, 4600명이 넘는 개발자들이 스파크 서비스(Spark-as-a-Service)의 베타 프로그램을 사용해 지능형 비즈니스 및 고객 애플리케이션을 성공적으로 구축한 바 있다.

UC 버클리 AMP 실험실에서 개발된 아파치 스파크는 복잡한 데이터에서 인사이트를 이끌어 낼 수 있는 알고리즘을 손쉽게 생성하는 것으로 유명하다.

가장 빈번히 접속되는 정보에 이상적인 스파크의 인메모리 프로세싱을 사용함으로써, IBM은 가장 널리 사용되는 자사 소프트웨어 솔루션 및 IBM 빙인사이트(BingInsights), IBM 스트림즈(Streams), IBM SPSS 등의 가장 널리 사용되는 클라우드 데이터 서비스 시스템 구성을 단순화할 수 있게 됐다.

IBM은 운영 체제를 단순화하고 시스템 구축과 개시 시간을 단축시키기 위해 자사의 유명 데이터 준비 및 데이터 정제 서비스인 데이터 웍스(DataWarks)의 기반 코드를 4000만개에서 500만개로 87% 이상 축소했다.

데이터 웍스를 통해 스파크의 확장성, 분산 프로그래밍 모델, 데이터 소스 연결 등에 있어서 직접적인 혜택을 볼 것으로 기대된다.

스파크는 지능형 애플리케이션 개발 과정을 대폭 단축해 주는 민첩하며 편리한 오픈 소스 기술이다. 아파치 스파크용 IBM 애널리스틱스는 IBM 블루믹스 클라우드 플랫폼 내의 오픈소스, 자사 및 타사의 분석 툴들과 쉽게 통합된다. 개발자들은 이제 그들의 애플리케이션에서도 실시간으로 IBM 분석 툴을 사용할 수 있게 된 것이다.

노바 스코티아 기반의 솔루션인크(SolutionInc)는 50여개국의 호텔, 컨퍼런스 센터, 관광지 등에 공용 와이파이와 유선 통신망을 제공하는 회사다. 다국적 와이파이 제공자로서, 솔루션인크는 트래픽 패턴과 트렌드에 대해 알아보기 위해 다양한 데이터 소스에서 발생되는 다량의 와이파이 데이터를 빠르게 분석해야 했다.

솔루션인크는 블루믹스상의 IBM 애널리틱스 아파치 스파크 서비스를 사용함으로써 트래픽이 최대치인 시간대, 트래픽이 가장 활발한 지역, 경로 패턴, 장치 타입과 같은 관련 데이터를 추출하는 것이 가능해져, 자사의 고객들이 즉시 활용할 수 있는 데이터 정보를 제공할 수 있게 됐다.

글렌 라빈 솔루션인크 대표는 “IBM 스파크 기술을 사용해 우리는 2억4000만 열(Rows)이 넘는 와이파이 로그 정보를 살펴볼 수 있게 됐으며, 여러 장소의 장치 트래픽 패턴과 데이터를 이해할 수 있게 되었다”며, “IBM 분석 서비스를 이용해 필요한 시장 요구와 트렌드를 더 잘 이해하고 고객들에게 더 나은 서비스를 제공할 수 있게 됐다”고 말했다.

IBM 애널리틱스 솔루션 개발 총괄 롭 토마스 부사장은 “데이터로 무수한 새로운 시도를 하는 데이터 과학자들과 엔지니어들에게 스파크와 같은 오픈 소스 기술의 혁신은 무시할 수 없는 것"이라며, “IBM은 산업 분석 플랫폼으로도 스파크를 사용할 것이며, IBM 블루믹스 상에서 완벽히 관리되는 스파크 서비스를 데이터 전문가들에게 제공함으로써 그들이 보다 쉽고 신속하게 데이터에 접근하고 필요한 정보를 분석할 수 있도록 지원할 수 있게 되었다”고 강조했다.

아울러 IBM 클라우드 데이터 서비스 총괄 데렉 스코에틀(Derek Schoettle) 사장은 “IBM의 아파치 스파크 애널리틱스는 연관 프로세스를 단순화시켜 데이터 전문가들이 스파크 클러스터나 운영체제를 관리하는 대신 애플리케이션 개발에 집중할 수 있도록 해준다”고 말했다.

IBM은 올해 아파치 스파크 커뮤니티에 가입을 발표한 이래, 머신러닝과 SQL을 포함해 60 여 가지 이상의 기술을 스파크 프로젝트에 제공했다.

IBM 스파크 기술 센터에서는 35명 이상의 아파치 스파크 기여자들을 고용했으며, BigDataUniversity.com의 온라인 교육 과정을 통해 31만명이 넘는 데이터 전문가들을 교육시켰다.

IBM이 보스턴, 샌프란시스코, 베이징, 상하이 등의 도시에서 개최한 국제 해크 스파크 챌린지에서 각지의 데이터 전문가들이 백 개가 넘는 다양한 데이터 솔루션을 개발했다. 이 중 한 프로젝트는 스파크를 이용해 자동차 교통량을 비디오로 분석하고 이를 앰버 알람(Amber Alderts)과 히트 맵(heat map)과 연동시켜 샌프란시스코 경찰이 범죄를 사전에 예측하고 예방할 수 있도록 지원했다.