인간 뇌 모방한 AI 반도체…0.4초 만에 거대언어 모델 처리

카이스트, 상보형 트랜스포머 개발

두 신경망 선택 활용해 전력 최적화

온디바이스 AI 구현 위한 최적 기술

스파이킹 뉴럴 네트워크와 심층 인공신경망의 상보적 특성을 나타낸 모식도 [사진=과학기술정보통신부]

국내 연구진이 전력 소모와 처리 시간을 크게 줄인 새로운 인공지능(AI) 반도체를 개발했다. AI 반도체는 급성장하고 있는 생성형 AI 산업의 핵심 인프라다. 정부는 관련 경쟁력 강화를 위해 AI 반도체 개발을 적극적으로 지원해나갈 방침이다.
 
과학기술정보통신부는 유회준 한국과학기술원(KAIST) 프로세싱인메모리(PIM) 반도체연구센터 및 AI 반도체대학원 교수 연구팀이 AI 반도체 ‘상보형 트랜스포머’를 세계 최초로 개발했다고 6일 밝혔다.
 
이 반도체는 전력 소모가 400mW(밀리와트)에 불과하고 0.4초 만에 상용 언어 모델을 처리할 수 있다. ‘스파이킹 신경망(SNN)’과 ‘심층 인공신경망(DNN)’이라는 서로 다른 신경망의 선택적 활용이 가능한 게 특징이다. 사람이 생각을 많이 할 때는 뇌의 에너지 소모가 크고 적게 할 때는 에너지 소모가 작은 것처럼 반도체도 연산량에 따라 전력 소모를 줄일 수 있는 방향으로 두 신경망 중 하나를 선택해 연산할 수 있도록 했다.
 
연구팀은 이를 통해 효율성을 높여 전력사용량을 획기적으로 줄였다. GPT와 같은 거대언어모델을 돌리는 데 들어가는 전력량은 엔비디아의 구형 그래픽처리장치(GPU)인 A100의 625분의1에 불과하다. 칩 면적도 41분의1로 줄었다.
 

연산속도도 빨라졌다. GPT-2 모델 기준으로 0.4초 만에 처리가 가능했다. GPT-2는 AI 모델의 성능지표인 파라미터(매개변수) 7억800만개를 가진다. 수천억 파라미터 규모의 초거대 AI 모델보다는 작지만 최근 주목받는 온디바이스AI(단일기기에서 클라우드 없이 AI 기능을 구현하는 것), 즉 엣지(말단) 기기에 들어가는 AI 연산에 주로 쓰인다.
 
연구팀은 “이번 연구성과는 모바일 장치 등 에너지 제약이 높은 환경에서도 정확하게 거대 언어 모델을 구동할 수 있는 게 특징”이라며 “온디바이스 AI 구현을 위한 최적의 기술”이라고 강조했다.
 
실제로 이번 반도체 개발에 참여한 김상엽 카이스트 박사는 이날 '상보형 트랜스포머'를 직접 시연했다. 인터넷이 연결되지 않은 노트북에 해당 칩이 내장된 보드를 연결해 GPT-2로 문장 요약과 번역, 질의응답을 실행했다. 그 결과, 일반 노트북으로 GPT-2를 실행한 것보다 최소 3배에서 최대 9배 빨랐다. 갤럭시S24에 연결해도 GPT-2를 쉽고 빠르게 실행시켰다.
 
연구팀은 향후 이 같은 뉴로모픽(신경) 컴퓨팅의 연구 분야를 언어 모델을 넘어 다양한 응용 분야로 확장할 계획이다.
 
유 교수는 “기존 AI 반도체가 가진 전력 소모 문제를 해소했을 뿐만 아니라, GPT-2와 같은 실제 AI모델 응용을 성공적으로 구동했다는 데 큰 의의가 있다”며 “뉴로모픽 컴퓨팅은 AI 시대에 필수적인 초저전력·고성능 온디바이스AI의 핵심기술인 만큼 앞으로도 관련 연구를 지속할 것”이라고 설명했다.
 
정부도 성과 창출을 위해 적극 지원하겠다는 입장이다. 전영수 과기정통부 정보통신산업정책관은 “앞으로도 이러한 세계적인 연구성과를 지속적으로 낼 수 있도록 적극적으로 지원하겠다”고 말했다.
 
한편, 이번 연구성과는 지난달 미국 샌프란시스코에서 열린 국제고체회로설계학회(ISSCC)에서 발표됐다.