SKT 주도 통신 특화 LLM, 6월 '출격'…"연내 상용화 목표"

기존 범용 LLM 파인튜닝해 제작…오픈AI 'GPT4', 앤스로픽 '클로드3' 활용

SKT "텔코 LLM, 범용 LLM 대비 통신 관련 업무 수행 효율성 35% 높아"

에릭 데이비스 SK텔레콤 인공지능(AI) 기술 협력 담당이 30일 오전 서울 중구 T타워에서 열린 'SK텔레콤 글로벌 통신사향 거대언어모델(LLM) 기자설명회'에서 '텔코 LLM'의 개발 배경과 과정에 대해 설명하고 있다. [사진=유대길 기자]

SK텔레콤이 통신 분야에 특화된 초거대언어모델(LLM) '텔코(Telco·통신사) LLM' 개발을 오는 6월 중 완료한다. 이를 토대로 연내 자사 고객센터와 사내 업무 등에 텔코 LLM을 본격적으로 적용할 예정이다. SKT는 국내 출시를 시작으로 향후 해외 이동통신사들과 손잡고 글로벌 출시도 확대해 나간다는 방침이다.

SKT는 30일 서울 중구 SKT타워에서 열린 기자간담회에서 이같이 밝혔다. 우선 6월 초 즈음 텔코 LLM의 개발을 마친 후, 사내 시스템 등에 이를 적용하는 기간을 거쳐 연내 한국을 중심으로 관련 서비스를 시작할 계획이다. 이는 지난해 8월 앤스로픽에 1억 달러(약 1300억원) 투자를 단행하며 관련 개발을 본격적으로 시작한 지 약 10개월 만이다. 

SKT는 앞서 지난해 7월 도이치텔레콤·싱텔 등 해외 주요 통신사들과 '글로벌 텔코 인공지능(AI) 얼라이언스(GTAA)'를 발족하고 통신사 특화 LLM을 공동 개발 중이라고 발표했다. 이어 지난 2월 스페인 바르셀로나에서 열린 모바일월드콩그레스(MWC) 2024에서 텔코 LLM 개발 과정에서 글로벌 통신사들과의 협력을 재확인했다. 지난해 하반기엔 앤스로픽·오픈AI 등과의 협업을 발표하며 이들의 자체 LLM인 '클로드'와 'GPT'를 활용한 텔코 LLM을 구축하겠다고 강조하기도 했다.

SKT가 기존 범용 LLM을 그대로 쓰는 대신 이를 토대로 한 '텔코 LLM'을 별도로 구상한 것은 통신사에 맞는 LLM을 상용화하기 위함이다. 정민영 SKT AI플랫폼 담당은 "LLM은 할루시네이션(환각 현상)도 있고, 답변의 일관성이 다소 들쭉날쭉했으며 느린 속도와 값비싼 비용도 문제였다"고 말했다. 또 번호이동과 같은 통신사 관련 전문 지식을 제대로 학습하지 않아 요금제 추천 등 세세한 고객 요구에 일일이 대응하기 어렵다는 문제도 있다. 이를 보완하기 위해 SKT는 자체 LLM인 '에이닷 엑스'와 클로드3, GPT4를 기반으로 통신 관련 한국어 정보들을 학습시키는 등 파인튜닝(미세조정) 과정을 거쳤다.

SKT는 그간 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집해 왔다. 이를 토대로 정형·비정형 데이터를 선별해 각 LLM에 학습시킴으로써 통신사 특화 LLM을 만들고자 했다. LLM별로 강점이 서로 다르고, 이에 따라 업무별로 최적화된 LLM이 갈리는 만큼 '멀티 LLM' 전략을 통해 다양한 모델들을 갖춘 것이 특징이다. 향후 구글 '제미나이' 등 또 다른 LLM을 추가하는 방안도 검토하고 있다.

에릭 데이비스 SKT AI 기술 협력 담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 모델평가(벤치마킹)를 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것"이라고 말했다.

실제 SKT의 자체 테스트 결과 통신 영역 내 특정 업무를 수행할 때 텔코 LLM은 범용 LLM 대비 약 35% 효율적인 결과가 나온 것으로 추산됐다. 이를 토대로 SKT는 통신사들의 다양한 업무에 텔코 LLM이 효율적으로 활용될 수 있을 것이라는 기대감을 나타냈다. 정민영 담당은 "고객센터, 인프라뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, 인적자원(HR) 등 사내 업무까지 통신사 운영의 다양한 영역에서 텔코 LLM이 업무 효율성을 높일 것"이라고 강조했다.

다만 당초 공언했던 글로벌 출시까지는 어느 정도 시간이 필요할 전망이다. 정민영 담당은 "GTAA 회원사 간 기술 협의는 계속 있어 왔지만, 결국 마지막에는 각 사 데이터를 모으고 이를 위한 리소스가 들어가는 단계가 있어서 이런 부분들에 대한 협의를 진행하고 있다"고 말했다.