업스테이지, AI 소형언어모델 사전 공개
‘솔라 프로 프리뷰’
업스테이지는 차세대 인공지능(AI) 거대언어모델(LLM) ‘솔라 프로’(Solar Pro)의 초기 시험용 모델인 ‘솔라 프로 프리뷰’ 버전을 오픈소스와 무료 응용프로그램인터페이스(API)를 통해 전면 공개한다고 11일 밝혔다.
솔라 프로는 솔라 LLM 시리즈의 상위 모델로 올 11월 공식 출시를 앞두고 있다. 업스테이지는 현재 개발 중인 모델을 미리 테스트해 볼 수 있는 프리뷰 버전을 오픈소스로 공개한다. 또 API 호출 비용까지 무상 지원할 예정이다. 프리뷰 버전은 영어만 지원하며 입력 토큰 수도 4096자로 제한된다.
솔라 프로는 220억개 매개변수를 갖춰 기존 ‘솔라 미니’(107억개) 대비 두 배 이상 커지고 성능도 대폭 향상됐다. 하지만 깊이 확장 스케일(DUS) 기술 등 자체 LLM 모델링 방법론을 더욱 고도화한 결과 여전히 단 1개의 그래픽처리장치(GPU)에서 구동이 가능한 수준으로 경량화에 성공했다.
최근 GPU 가격 급등과 수급난으로 골머리를 앓는 기업용 AI 시장의 판도를 크게 바꿀 것으로 기대를 모은다.
또 솔라 프로는 인문학뿐만 아니라 과학·기술·공학·수학(STEM) 종합 지식을 평가하는 ‘MMLU Pro’, 지시 이행 능력을 평가하는 ‘IFEval’ 등 최신 LLM 성능평가(벤치마크) 지표에서 솔라 미니보다 평균 51% 이상 대폭 향상됐다. 최신 지표인 MMLU Pro는 LLM 답변의 정확도를 사지선다로 평가하던 기존 방식에서 선택지를 10개까지 늘려 정답률을 낮췄다.
이는 마이크로소프트의 ‘파이(Phi)-3 미디엄’, 메타 ‘라마 3.1 8B’, 미스트랄AI-엔비디아 ‘네모 12B’, 구글 ‘젬마 2 27B’ 등 유사 크기 빅테크 모델 성능을 모두 뛰어넘은 수치다. 또한 매개변수가 3배 이상 큰 ‘라마 3.1 70B’ 등 다중 GPU를 요구하는 모델과 유사한 수준이다.
고성수 기자 ssgo@naeil.com