KISTI, 기존보다 70배 빠른 '빅데이터 분석 기술' 개발 성공

 

아주경제 신희강 기자 =한국과학기술정보연구원(KISTI)이 기존의 상용 빅데이터 분석 플랫폼보다 약 70배 빠른 다차원 빅데이터 분석 기술 개발에 성공했다고 16일 밝혔다.

이번에 개발한 빅데이터 분석 시스템인 ‘투픽스(TuPiX)’는 클러스터와 같은 빅데이터 처리 환경에서 데이터 처리 및 분석에 소요되는 시간을 획기적으로 줄였다.

데이터 저장 및 계산 방식의 변화를 통해 대용량 데이터를 병렬분산처리할 때 발생하는 원형 데이터의 전처리‧불러오기‧재구성 과정 없이 바로 원형 데이터에 접근하는 방식을 취한다.

또한 투픽스는 환경설정에서 손쉽게 필요한 만큼 컴퓨팅 노드를 추가‧연동할 수 있다. 고가의 컴퓨팅 자원뿐만 아니라 대중적인 개인용 컴퓨터(PC) 수준의 사양으로도 클러스터를 구성할 수 있어 인프라 구축 비용을 크게 절감할 수 있다.

KISTI는 맞춤형 분석 및 가시화 기능을 추가한 투픽스 오션 컬러(TuPiX Ocean Color) 시스템을 무상 기술이전했다. 이번 기술이전을 통해 극지연구소 연구자들은 연구기관, 관측범위, 해상도 및 데이터 규모에 큰 제약 없이 연구를 수행할 수 있게 됐다.

박경석 KISTI 과학데이터기술연구실장은 “데이터 검색 및 관리에 필요한 비용과 시간을 크게 줄일 수 있어 연구 생산성과 빅데이터 분석 및 관리 효율성 향상에 기여할 것으로 기대한다”며 “빅데이터 플랫폼 확산 및 융합연구 활성화를 위해 투픽스를 기반으로 하는 기관별 특화 시스템을 지속적으로 제공해나갈 계획”이라고 말했다.

향후 KISTI는 핵융합, 유전체 분석, 에너지, 지진 및 해일 등의 과학연구 뿐만 아니라 계산 금융, 지리정보, 사회연결망 등 다양한 응용 분야를 발굴해 빅데이터 분석 플랫폼을 확산시켜 나갈 예정이다.