빅테크들이 인프라 비용을 줄이는 방안을 고민하는 동안, 다른 한 편에선 '모델 다이어트'가 한창입니다. 그동안 생성형 AI 모델은 파라미터(매개변수) 수를 기하급수적으로 늘리는 방식으로 성능을 개선해왔는데, 이렇게 비대해진 AI 모델을 운영하는데 기업들이 부담을 느끼고 있기 때문입니다.

 기업들이 AI를 도입하는 데는 다양한 목적이 있습니다. '챗GPT' 같은 '만능박사'보다는, 각 업무에 최적화된 '스페셜리스트'가 더 적합할 수 있습니다. 이 때문에 정해진 일만 잘하는 맞춤형 AI 모델의 필요성이 늘고 있고, 이를 위한 소형 AI 모델 개발히 활발히 진행 중입니다. 또 이런 소형 모델은 비용이 많이 드는 클라우드 방식 대신 노트북이나 모바일 환경에서 직접 AI 연산을 처리하는 '엣지 AI'를 구현하는 데도 필수적입니다.

 오픈AI 역시 이런 흐름에 따라 더 저렴하고 간소화된 모델인 'GPT-4o 미니'를 선보였고, 이를 기업들이 미세조정(파인튜닝)해 활용할 수 있도록 하는 기능도 출시했습니다. 또 마이크로소프트는 매개변수 38억개의 소규모언어모델(SLM) '파이 3.5'를 공개했고, 메타도 매개변수 80억개인 소형 모델 '라마 3.1 8B'를 선보였습니다. 국내에서도 LG AI연구원이 매개변수 78억개의 소형언어모델 '엑사원 3.0(7.8B)'을 오픈소스로 공개하기도 했습니다.

이처럼 AI 모델이 다양화된다면 무조건 거대하고 값비싼 데이터센터가 최선의 선택이 아닐 수도 있게 됩니다. '반도체 전설'로 불리는 텐스토렌트 창업자 짐 켈러 CEO는 최근 미국 IT 매체 디인포메이션 구독자들과 만난 자리에서 "AI 하드웨어와 소프트웨어의 급속한 발전으로 인해 컴퓨팅 능력이 덜 필요한 새로운 AI 모델이 곧 등장할 수 있고, 기업들은 불필요하게 비싼 하드웨어를 사용하게 될 것"이라고 언급했습니다.

텐스토렌트는 오픈소스 칩 아키텍처인 'RISC-V'를 활용해 AI 모델을 훈련하고 실행하기 위한 칩과 소프트웨어를 개발하고 있습니다. 여러 개의 소형 중앙처리장치로 구축된 텐스토렌트의 칩은 각 칩에서 어떤 데이터를 먼저 처리할 지 우선순위를 독립적으로 결정할 수 있어 엔비디아 칩보다 더 저렴하고 전력 소모가 적다고 켈러는 설명했습니다. 이 때문에 LG, 현대차 등 국내 기업들도 짐 켈러에게 달려가 협력을 요청하고 있는 상황입니다.

앞서 거대언어모델(LLM)에 특화된 맞춤형 AI 반도체를 개발하고 있는 스타트업 그로크(Groq)도 최근 6억4000만달러(약 8500억원)의 자금을 조달에 성공하며 주목을 받았습니다. 그로크 역시 엔비디아의 대항마를 자처하며 '추론 전용 칩'으로 내년 전 세계 AI 추론의 절반을 처리하겠다는 야심찬 목표를 내걸었습니다. 국내에서도 최근 AI 반도체 설계 업체 리벨리온과 사피온이 합병으로 덩치를 키우며 글로벌 신경망처리장치(NPU) 시장에 도전장을 던졌습니다. 이런 다양한 맞춤칩의 등장도 AI에 대한 비용을 절감할 수 있는 대안이 될 것이란 전망입니다.