과기정통부, '생성 AI 레드팀 챌린지' 개최…네이버·SKT 등 참석

세종시 정부세종청사 4동에 위치한 과학기술정보통신부의 모습. [사진=유대길 기자]

과학기술정보통신부와 한국정보통신기술협회(TTA)는 '생성 AI 레드팀 챌린지' 행사를 11일부터 이틀간 서울 코엑스에서 개최한다고 밝혔다.

레드팀은 최근 생성 AI 분야에서 AI 신뢰·안전성을 확보할 수 있는 핵심적인 방법으로 활용된다. 오픈AI와 구글, 네이버클라우드 등 국내외 AI 대표 기업들도 내부 AI 레드팀을 구성해 AI 신뢰·안전성 확보에 활용하고 있다.

행사에서는 네이버, SK텔레콤, 업스테이지, 포티투마루 등 국내 AI 기업들이 참여했다. 아울러 AI‧IT분야 종사자뿐만 아니라, 제조‧금융‧의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1000여명이 챌린지에 나섰다. 챌린지 참가자들은 세션별 참여기업의 초거대언어모델(LLM)을 차례로 배정받아 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다. 

레드팀 챌린지의 공정하고 전문적인 평가를 위해 챌린지 평가단도 구성‧운영한다. 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료‧금융‧법률 전문가 120여명으로 구성된 평가단은 사전에 마련된 평가 세부기준에 기초해 챌린지 참가자의 프롬프트 공격을 객관적으로 평가한다.

행사 2일차인 오는 12일에는 '글로벌 AI 안전 콘퍼런스'가 열린다. 하정우 네이버 퓨처 AI 센터장, 에릭 데이비스 SKT 부사장, 김세엽 셀렉트스타 대표, 김경훈 카카오 AI 세이프티 리더 등이 참여하며 해외 AI 기업인 코히어와 스태빌리티AI, xAI 등도 나선다. 이들은 최근 생성 AI 시장의 기술 동향과 생성 AI 안전‧신뢰성 확보 방안에 대해 발표와 토론을 진행한다.

과기정통부는 이번 '레드팀 챌린지' 결과를 분석해 생성 AI 분야의 공통‧포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 생성 AI 레드팀 가이드라인을 마련하는 등 표준화된 생성 AI 위험 발굴‧대응체계를 구축해 나갈 계획이다.

강도현 과기정통부 2차관은 "AI 혁신의 전제이자 기본은 AI 안전과 신뢰"라며 "'AI 시대'로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것"이라고 말했다.