오픈AI AI 모델, 평가 중 통제 벗어나 허깅페이스 해킹…"전례 없는 사고"

"허깅페이스와 공동 조사·취약점 보완…훈련·평가 환경 통제 강화 방침"

오픈AI [사진=로이터·연합뉴스]

오픈AI의 최신 인공지능(AI) 모델들이 사이버 역량 평가 과정에서 격리된 시험 환경을 벗어나 외부 시스템에 침입한 사실이 드러났다.

21일(현지시간) 블룸버그통신 등에 따르면 오픈AI는 이날 블로그를 통해 자사 모델들이 내부 사이버 역량 평가 도중 AI 모델과 데이터세트를 제공하는 허깅페이스의 인프라에 침입했다고 밝혔다.

평가에는 'GPT-5.6 솔'과 아직 공개되지 않은 고성능 모델이 투입됐다. 오픈AI는 모델의 최대 사이버 역량을 측정하기 위해 고위험 사이버 활동을 차단하는 안전장치를 적용하지 않은 상태로 시험을 진행했다고 설명했다.

모델들은 격리된 시험 환경인 '샌드박스'에서 작동했지만, 내부에서 사용하던 제3자 소프트웨어의 제로데이 취약점을 발견해 인터넷 접속 권한을 확보했다. 이후 권한 상승과 내부망 이동을 거쳐 외부 인터넷에 연결된 시스템에 도달했다.

인터넷 접속에 성공한 모델들은 허깅페이스가 평가용 벤치마크인 '익스플로잇짐(ExploitGym)'의 모델과 데이터세트, 정답을 보유하고 있을 가능성이 있다고 판단했다. 이어 탈취한 인증정보와 제로데이 취약점 등을 연계해 허깅페이스 서버에서 원격코드실행 경로를 찾아낸 뒤 운영 데이터베이스에 접근했다.

오픈AI는 모델들이 평가 문제를 직접 해결하는 대신 정답에 해당하는 비밀 정보를 확보해 시험을 통과하려 한 것으로 파악했다. 오픈AI 보안팀은 내부 모니터링 과정에서 이 같은 비정상 활동을 발견했다.

허깅페이스 보안팀도 자사 인프라에서 침입을 탐지하고 활동을 중단시켰다. 허깅페이스는 지난주 이번 사고가 처음부터 끝까지 자율형 AI 에이전트에 의해 이뤄졌으며, 자체 오픈소스 AI 모델을 활용해 침입 경로를 분석했다고 밝혔다.

오픈AI는 "이번 사건을 최첨단 사이버 역량이 동원된 전례 없는 사이버 사고로 보고 있다"며 "방어 담당자들이 사건 경위와 현재 AI 모델의 능력을 파악할 수 있도록 예비 조사 결과를 공개한다"고 밝혔다.
 

오픈AI는 현재 허깅페이스와 함께 사고 경위와 피해 범위를 조사하고 있다. 제로데이 취약점이 발견된 제3자 소프트웨어 업체에도 관련 내용을 통보하고 보완 작업을 진행 중이다.

또 취약점이 해결될 때까지 연구 속도가 늦어지는 것을 감수하고 인프라 구성에 엄격한 통제 조치를 적용하기로 했다. 오픈AI는 해당 조치와 연구에 미치는 영향을 사내 안전·보안위원회에 정기적으로 보고하는 한편, 향후 모델 훈련·평가 환경의 격리와 접근 통제, 감시 체계도 강화할 방침이다.

이번 사건을 계기로 AI 모델에 대한 안전성 검증과 보안 사고 공개를 의무화해야 한다는 목소리도 커지고 있다. 그레그 카사르 하원의원(민주·텍사스)은 이번 사고를 "극도로 우려스럽다"고 평가하며 AI 개발 감독 강화와 의무적인 안전성 시험 도입을 촉구했다.

규제 강화뿐 아니라 AI 기업 간 정보 공유와 공동 대응 체계를 마련해야 한다는 지적도 나온다. 클렘 들랑그 허깅페이스 공동창업자 겸 최고경영자(CEO)는 "이번 사건은 아마도 최초의 사례로, 어느 한 기업이 비밀리에 홀로 AI 안전 문제를 해결할 수 없다는 점을 보여준다"며 "모든 보안 담당자가 AI에 폭넓게 접근할 수 있는 개방적이고 협력적인 방식으로 해결해야 한다"고 강조했다.