트웰브랩스, 영상언어모델 페가수스·마렝고 업데이트 "구글·오픈AI 모델 대비 성능 우위"

트웰브랩스는 초거대 인공지능(AI) 영상언어 생성 모델 '페가수스(Pegasus-1)'과 멀티모달 영상이해 모델 '마렝고(Marengo 2.6)'을 업데이트 출시했다. [사진=트웰브랩스]

트웰브랩스는 초거대 인공지능(AI) 영상언어 생성 모델 '페가수스(Pegasus-1)'과 멀티모달 영상이해 모델 '마렝고(Marengo 2.6)'을 업데이트 출시했다고 14일 밝혔다.

페가수스는 초거대 AI 영상언어 생성 모델이다. 지난해 11월 정식 공개돼 영상에 대한 요약, 하이라이트 생성 등 영상 기반 텍스트 생성 기능들을 최초로 선보인 바 있다. 이번 업데이트로 영상에 관해 궁금한 점들을 질문하면 답을 해주는 영상 질의응답 성능이 대폭 향상됐다. 

기존 모델은 홈페이지 내 대기자 명단 등록을 통해서만 사용 가능했던 반면, 이번 업데이트부터는 일반 대중에게 공개돼 누구나 쉽고 편리하게 페가수스 모델에 접근·활용 가능하다. 유료 버전의 경우 대량의 영상 활용이 필요한 기업·개발자들 대상이다.

마렝고는 멀티모달 기반 비디오 언어 모델(VLM)이다. 트웰브랩스가 자체 진행한 내부 테스트 결과, 최근 구글이 공개한 비디오프리즘(VideoPrism) 모델보다도 훨씬 좋은 성능이 구현됐다. 기존 모델에 비해 행동이나 방향성 등을 인지하는 모션 이해(Motion Understanding) 인지 기능이 대폭 강화됐으며 물리 보안과 스포츠 분야에서 별도의 추가 학습 없이도 높은 이해도를 갖추도록 도메인 성능이 향상됐다. 

비공개 베타 버전에서는 음성·이미지 이해 성능이 강화돼 텍스트 투 오디오(Text-to-Audio), 오디오 투 비디오(Audio-to-Video), 텍스트 투 이미지(Text-to-Image), 이미지 투 비디오(Image-to-Video) 작업 수행이 가능해졌다.

트웰브랩스는 이번에 출시한 페가수스와 마렝고 모델이 구글의 제미나이 1.5 프로, 오픈AI의 GPT-4V 등 현존하는 최고 성능의 상용·오픈소스 영상언어 모델들과 비교해 최대 43% 가량 성능 우위를 보인다고 밝혔다. 특히 분 단위의 짧은 영상들만을 처리할 수 있는 타 모델과 달리, 수백 시간의 영상들을 실시간으로 처리할 수 있어 인프라 완성도 측면에서도 크게 앞선다고 설명했다.

최근 오픈AI가 영상 생성모델 '소라'를 공개하며 영상 모델에 대한 관심이 커지는 가운데, 영상 시장 잠재력 역시 급증하고 있다. 트웰브랩스는 영상언어 생성 모델인 페가수스와 멀티모달 모델 마렝고의 업데이트를 동시에 공개해 글로벌 영상이해 시장 내 확고한 선두로 자리매김한다는 계획이다. 이번 업데이트로 두 모델 모두 영어뿐만 아니라 한국어 등 다국어를 지원하며 스포츠, 미디어·엔터테인먼트, 물리보안 영역을 중심으로 글로벌 시장 세일즈에도 적극 나선다.

이재성 트웰브랩스 대표는 "트웰브랩스의 모델은 영상이해에 특화돼 오픈AI의 소라, 구글 제미나이가 제공하는 영상 생성과는 차이가 있다"며 "페가수스 및 마렝고 모델은 영상언어 초거대 모델들로는 수행 불가한 세밀한 수준의 작업까지 지원하는 만큼 영상이해 기술을 핵심 산업들에 최적화헤 본격적인 확산을 추진하겠다"고 말했다.

국내 스타트업인 트웰브랩스는 2022년 말 오라클과의 대규모 클라우드 파트너십을 통해 수천 대의 최신 엔비디아 그래픽처리장치(GPU)를 확보하며 모델 고도화를 이뤄냈다. 지난해에는 CB인사이츠 선정 '세계 100대 AI 기업' 및 '세계 50대 생성 AI 스타트업'에 선정됐으며 엔비디아, 인텔, 삼성넥스트, 한국투자파트너스 등으로부터 1000만달러(약 140억 원) 규모의 전략적 투자를 유치했다.