카카오가 테크니컬 리포트를 공개하고 자체 인공지능 언어모델(AI Language Model) 중 소형언어모델인 '카나나 나노(Kanana Nano) 2.1B'를 오픈소스 방식으로 깃허브에 배포했다.

27일 카카오는 카나나의 연구 성과를 담은 테크니컬 리포트를 아카이브(ArXiv)에 공개했다. 해당 리포트에 따르면 카카오는 AI 모델 학습 효율화를 가져오는 주요 기법을 카나나에 적용함으로써 비용을 줄였다.

테크니컬 리포트는 매개변수와 학습 방법, 학습 데이터 등 세부 사항을 담아낸 AI 논문이다. 카카오는 리포트에서 카나나 언어모델 전체의 초기 학습부터 추가 학습 과정까지 전체를 자세히 담고 카나나 모델의 구조, 학습 전략, 그리고 글로벌 벤치마크 성과를 공개했다.

카카오의 언어모델은 크기순으로 ▲플래그(Flag) ▲에센스(Essence) ▲나노(Nano) 등이다. 이번에 공개한 리포트는 세 모델 전체의 개발 과정에 대한 내용을 담고 있다.

카카오에 따르면 카카오 플래그는 글로벌 최고 수준의 한국어·영어 성능을 달성한 모델이다. 한국어 성능을 평가하는 'LogicKor', 'KMMLU' 벤치마크에서 높은 성적을 기록했다. 영어 성능을 평가하는 'MT-bench', 'MMLU' 벤치마크도 주요 경쟁 모델과 유사한 성과를 기록했다.

특히 큰 성과를 낸 부분은 학습 효율 극대화를 위한 주요 기법의 개발과 적용이다. 이는 연산량 감소를 통한 학습 비용 절감과 하드웨어 요구사항을 감소를 통한 전력 효율에까지 전방위에 이른다. 카카오는 "학습 자원 최적화를 통해 유사 사이즈의 모델 대비 50% 이상 비용을 절감했다"고 설명했다.

효율화를 위해 적용한 기법은 ▲Staged pre-training ▲Pruning(모델 구성 요소를 가지치기해 중요 요소만 남기는 기법) ▲Distillation(큰 모델의 지식을 더 작은 모델로 전달하는 증류 기법) ▲DUS(Depth Upscaling, 깊이 업스케일링) 등 혁신적 학습 기법을 적용했다.

적용된 기법 각각은 구글과 오픈AI, 메타, 테슬라 등에서 널리 개발, 적용되고 있지만, 카카오와 같이 혼합해 효율적으로 조합한 사례는 흔치 않다. 이는 카카오의 엔지니어링 역량과 AI 인프라를 고려한 맞춤형 최적화 방식이라는 점에서 의미 있다.

카카오는 향후 카나나 모델에 강화 학습(Reinforcement Learning)과 연속 학습(Continual Learning) 기반의 최신 기술을 접목해 추론, 수학,코딩 능력을 강화하고, 정렬(Alignment) 기술을 고도화해 사용자 요청의 수행 정확도를 높일 계획이다.

이날 카카오는 자체 경량 모델인 카나나 나노 2.1B도 오픈소스로 깃허브에 공개했다. 깃허브에 공개된 베이스 모델과, 인스트럭트(Instruct) 모델, 임베딩(Embedding) 모델 세 가지는 누구나 다운 받아 활용할 수 있다.

카카오에 따르면 카나나 나노 2.1B는 연구자와 개발자가 활용하기 적절한 크기의 모델이자 온디바이스(On-device) 환경에서도 활용 가능한 고성능의 경량 모델이다.

카카오는 이번 오픈소스 공개를 통해 AI 기술의 접근성을 높이고자 하며, 연구자와 개발자들이 해당 모델을 토대로 다양한 응용을 시도할 수 있도록 모델의 업데이트를 지속 지원할 계획이다.

카카오 김병학 카나나 성과리더는 "모델 최적화와 경량화 기술을 바탕으로 라마, 젬마 등 글로벌 AI 모델과 견줄 수 있는 고성능의 자체 언어모델 라인업을 효율적으로 확보하게 됐으며, 이번 오픈소스 공개를 통해 국내 AI 생태계 활성화에 기여할 수 있을 것으로 기대한다"며 "앞으로도 효율과 성능 중심의 실용적이고 안전한 AI 모델을 개발해가며, 지속적 기술 혁신을 통해 AI 경쟁력을 강화해 갈 계획"이라고 말했다.