SKT가 투자한 '코난 LLM'..."기업·정부 보고서 작성 대신한다"

코난테크놀로지, 자체 개발한 구축형 LLM 선봬

장문 보고서 순식간에 작성... 정보 유출 우려 없어

문서 업무 효율화 지원... 연내 성능 높인 버전 출시

임완택 코난테크놀로지 상무가 17일 서울 여의도에서 열린 '코난 LLM' 출시 간담회에서 자사 거대 언어 모델을 소개하고 있다. [사진=코난테크놀로지]

SK텔레콤(SKT)의 인공지능(AI) 동맹에 참여한 코난테크놀로지가 자체 기술력을 앞세워 기업·기관 대상 AI 시장 공략을 강화한다. 단순 키워드만으로 양질의 보고서를 생성하는 거대 언어 모델(LLM)을 통해 문서 업무 효율성을 높이고, 정보 유출 우려를 줄여 이들의 AI 도입을 지원한다는 계획이다.

코난테크놀로지는 17일 자체 개발 AI 모델 '코난 LLM' 출시 간담회를 열고, 향후 전략을 발표했다. 코난테크놀로지는 지난 1999년 설립한 AI 기업으로, 자연어 처리, 빅데이터, AI 원천기술을 기반으로 다양한 소프트웨어와 서비스를 선보이고 있다. 지난해 10월에는 SKT로부터 244억원 규모의 전략적 지분투자(20.77%)를 유치했으며, SKT가 올해 2월 출범한 'K-AI 얼라이언스'에도 참여 중이다.

코난 LLM은 구축형(온프레미스) LLM이다. 퍼블릭 클라우드 기반의 LLM과 달리, 데이터를 민간 기업 서버로 전송하지 않기 때문에 데이터 유출 우려가 없다는 것이 코난테크놀로지 측의 설명이다.

특히 성능을 높이면서도 매개변수(파라미터)를 줄여 낮은 사양의 서버에서도 작동 가능한 것이 특징이다. 파라미터를 131억개 갖춘 코난 LLM 13B 버전은 RTX 3090 수준의 소비자용 그래픽카드로도 운용 가능하다. 기업이나 기관은 적은 구축 비용으로 생성형 AI를 도입해, 정보 유출 우려 없이 업무에 이를 활용할 수 있다.

코난 LLM은 문서 초안 생성, 요약, 질의응답 등의 기능을 지원한다. 간단한 명령어만 입력해도 4000자(형태소) 분량의 문서를 만들며, 도표나 문서 첨삭 등도 목적에 맞게 작성한다. 사용자의 추가적인 요청에도 실시간으로 대응해 문서를 보완한다.

임완택 코난테크놀로지 상무는 "이러한 성능의 비결은 자체 보유 데이터에 있다. LLM 자체 개발을 위해선 최소 1000억개 이상의 학습 데이터를 확보할 수 있어야 한다. 우리는 지난 2007년부터 국내외 데이터를 수집·분석하는 AI 서비스를 통해 약 205억개의 문서를 자체 확보했다"고 설명했다. 코난테크놀로지는 연내 410억개 파라미터를 갖춘 41B 버전을 출시할 계획이며, 기업 대상 거래(B2B), 정부 대상 거래(B2G) 시장을 중심으로 사업을 확장한다는 방침이다.