국내 연구진이 챗GPT처럼 거대 언어모델의 추론 연산에 사용되는 AI 반도체를 개발했다.
한국과학기술원(KAIST)은 전기전자공학부 김주영 교수의 창업기업 하이퍼엑셀이 엔비디아 A100 기반 슈퍼컴퓨터보다 가격대비 성능이 2.4배 높은 'AI 반도체'를 개발했다고 4일 밝혔다.
연구진이 개발한 AI 반도체 'LPU'(Latency Processing Unit)는 메모리 대역폭 사용을 극대화하고 추론에 필요한 모든 연산을 고속으로 수행 가능한 엔진을 갖췄다. 자체 네트워킹을 내장해 여러 개 가속기로 확장하기도 쉽다.
미국 오픈AI가 출시한 챗GPT는 거대 언어모델에 기반한 AI 기술이다. 거대 언어모델은 기존 AI보다 훨씬 큰 규모의 AI모델이므로, 이를 운영하려면 수많은 고성능 GPU가 필요하다. 따라서 천문학적 컴퓨팅 비용이 든다는 문제가 있다.
하지만 하이퍼엑셀이 개발한 LPU를 사용하면 고성능 GPU인 엔비디아 A100 기반 슈퍼컴퓨터보다 성능을 최대 50% 높일 수 있다는 게 연구팀의 설명이다. 특히 챗GPT처럼 생성형 AI를 서비스해야 하는 데이터센터의 고성능 GPU로 사용하기 적합하다는 것이다.
이번 연구는 지난 7월 12일(현지시간) 미국 샌프란시스코에서 열린 국제 반도체 분야의 대표 학회인 '국제 반도체 설계 자동화 학회'(Design Automation Conference)에서 공학부문 최고 발표상(Engineering Best Presentation Award)을 수상했다.
거대 언어 모델의 추론에 필요한 막대한 비용을 획기적으로 절감할 수 있는 AI 반도체 솔루션으로 세계 무대에서 인정받은 것이다.
KAIST 김주영 교수는 "미래 거대 인공지능 연산을 위한 새로운 프로세서 'LPU'로 글로벌 시장을 개척하고 빅테크 기업들의 기술력보다 우위를 선점하겠다"는 포부를 밝혔다.
Copyright @ NEWSTREE All rights reserved.
