![사진KAIST](https://image.ajunews.com/content/image/2024/07/08/20240708083439554393.jpg)
최근 차세대 연결 기술인 CXL을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는 'CXL-GPU' 구조 기술이 다양한 산업계에서 검토되고 있다. 다만 CXL-GPU의 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다는 것이 중론이다. 대규모 AI 서비스는 빠른 추론·학습 성능을 요구하기 때문에, GPU에 직접적으로 연결된 메모리 확장 장치로의 메모리 읽기·성능이 기존 GPU의 로컬 메모리에 준하는 성능이 보장될 때 비로소 실제 서비스에 활용될 수 있다.
KAIST 연구진은 CXL-GPU 장치의 메모리 읽기·쓰기 성능이 저하되는 원인을 분석해 이를 개선하는 기술을 개발했다. 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발, GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다. 즉 메모리 확장 장치가 내부 작업을 수행하는 상태에 따라 작업을 하도록 했다. GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없어 쓰기 성능 저하 문제를 해결토록 했다.
또 연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작하게 돼 GPU 장치가 실제 데이터를 필요로 할 때는 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.
정명수 KAIST 전기및전자공학부 교수는 "CXL-GPU의 시장 개화 시기를 가속해 대규모 AI 서비스를 운영하는 빅테크 기업의 메모리 확장 비용을 획기적으로 낮추는 데 기여할 수 있을 것"이라고 말했다.
©'5개국어 글로벌 경제신문' 아주경제. 무단전재·재배포 금지