카카오, 국제학회서 AI 모델 학습비용 줄이는 효율화 기술 공개

카카오가 8일 언어모델링 국제학회 'COLM 2026'에서 거대 AI 모델의 학습 비용과 메모리 부담을 줄이는 두 가지 효율화 기술을 공개했습니다. 첫째는 전문가 혼합(MoE) 구조의 대규모 모델을 사전학습할 때 가장 적합한 학습률을 전체 학습 비용의 약 1% 수준의 비용으로 미리 예측하는 방법론으로, 작은 모델에서 찾은 최적값을 큰 모델로 확장하는 '뮤-매개변수화' 기법을 MoE 구조에 맞게 응용한 것입니다. 카카오는 이 방법을 자사 모델 'Kanana-2.6-155b-a17b' 사전학습에 실제로 적용해 10조 토큰까지 안정적으로 학습시켰다고 밝혔습니다. 둘째는 'BBT(BPE-Guided Byte Transformer)'라는 경량화 모델로, 기존 BPE 방식의 단어조각 단위 대신 더 작은 바이트 단위를 활용하면서도 압축 효율의 장점은 유지하도록 설계됐습니다. 이를 통해 파라미터 수를 20~40%가량 줄이면서도 테스트 성능은 오히려 2.7~6.6% 높였고, 오탈자 대응력과 학습하지 않은 언어로의 전이 성능도 함께 개선됐다고 설명했습니다. 카카오는 앞으로 다양한 모델 구조로 연구를 확장해 대규모 언어모델의 학습 비용을 추가로 낮출 계획이라고 밝혔습니다.

출처: 머니투데이