디지스트 김민수 교수 연구팀, 300배 빠른 GPU 기반 빅데이터 고속 분석 기술 개발

                                     [김민수 디지스트 교수]

아주경제 김병진 기자 = 디지스트(DGIST, 총장 신성철)는 정보통신융합공학전공 김민수 교수 연구팀이 그래픽처리장치(GPU, Graphic Processing Unit)를 활용해 비용 대비 성능 측면에서 300배 이상 빠른 GPU 기반 빅데이터 분석 및 처리 기술(GStream)을 개발했다고 11일 밝혔다.

GStream 기술은 웹, 소셜네트워크, 생명과학, 뇌과학 등 다양한 분야에서 사용되는 그래프 형태의 빅데이터를 두 개의 GPU가 장착된 PC 한 대를 이용해 초당 14억 개의간선1)들을 분석할 수 있는 기술로서 세계 최고 수준의 성능(1,400 MTEPS2))을 나타냈다.

지금까지 개발된 대표적 기술은 미국 카네기멜론대학의 GraphLab이 64개의 고성능 서버들과 10기가 고속 네트워크로 구성된 5억원 규모의 대규모 분산 시스템을 이용해 14억 개의 간선들로 이루어진 트위터 데이터를 3.6초 만에 페이지랭크를 분석했다.

하지만 GStream 기술을 적용하면 GPU 두 개가 장착된 500만원 상당의 PC 1대로 1초 만에 분석해 비용 대비 성능 측면에서 약 360배 우수한 성능을 보였다.

그동안 GPU는 CPU에 비해 이론적 성능이 수십 배 이상 뛰어나다고 알려져 왔으나 수기가바이트 정도에 지나지 않는 GPU로 수십 배 이상 더 큰 규모의 그래프와 같은 복잡한 형태의 데이터를 처리할 수 있는 기술 개발이 어려워 활용되지 않았다.

김 교수 연구팀은 데이터베이스 분야의 중첩 루프 세타 조인이라는 개념을 GPU 컴퓨팅에 접목, 그래프 데이터를 페이지 단위로 나눴고 주메모리로부터 GPU메모리로 비동기적인 방식으로 스트리밍하는 동시에 GPU의 수천 개의 계산 코어들을 분석하는 새로운 방식을 시도해 GPU 메모리의 크기와 제한 없이 빅데이터를 고속으로 처리하는 방식을 개발한 것이다.

김 교수는 "다양한 분야에서 활용하는 그래프와 같은 복잡한 형태의 빅데이터를 GPU 기반의 고속 분석 기술을 확보했다"며 "사물인터넷(IOT) 기술의 발전으로 장차 일상생활 속에서 복잡한 형태의 빅데이터가 사용될 때 소형 컴퓨팅 장치로 빅데이터를 분석하는 길을 열 수 있을 것"이라고 말했다.

한편 이번 연구 성과는 지난 8일 열린 병렬 프로그래밍 분야 세계적 학술대회인 ACM PPoPP 2015에서 발표됐다.