이번 주 초, 블룸버그 Google과 Apple이 내년에 개선된 Siri를 지원하게 될 Gemini 모델 버전에 대한 연간 계약이 10억 달러에 가까워졌다고 보고했습니다.
그러나 아마도 가격보다 더 흥미로운 것은 실제로 모든 사람의 경험에 영향을 미치는 요소, 즉 아키텍처입니다. 이것이 어떻게 작동할 수 있는지 살펴보겠습니다.
1조 2천억 개의 매개변수가 많은가요?
에 따르면 블룸버그Google의 보고서에 따르면 Google은 Apple의 프라이빗 클라우드 컴퓨팅 서버에 상주하게 될 1조 2천억 개의 매개변수 모델을 Apple에 제공하여 Google이 해당 모델에 액세스하는 것을 방지할 것입니다. 개인 정보 보호 관점에서 볼 때 이것은 훌륭합니다.
크기 측면에서 보면 1조 2천억 개의 매개변수를 가진 모델은 무시할 만한 것이 아닙니다. 그러나 최신 및 최고의 경쟁 모델과 직접 비교하는 것은 상당히 어렵습니다.
실제로 최근 몇 년 동안 OpenAI, Anthropic, Google과 같은 국경 폐쇄형 AI 연구소는 최신 주력 모델의 매개변수 개수 공개를 중단했습니다. 이로 인해 GPT-5, Gemini 2.5 Pro 및 Claude Sonnet 4.5와 같은 제품의 실제 매개변수 수에 대한 광범위한 추측이 이어졌습니다. 어떤 사람들은 이를 1조 매개변수 미만으로 설정하고 다른 사람들은 몇 조에 도달한다고 제안합니다. 실제로는 아무도 모릅니다.
반면에 이러한 최신 대형 모델의 대부분은 전문가 혼합(MoE)으로 알려진 기본 아키텍처를 공유합니다. 실제로 Apple은 이미 1,500억 개의 매개변수를 갖고 있는 것으로 알려진 현재 클라우드 기반 모델에 MoE 버전을 사용하고 있습니다.
Siri의 Gemini 모델에는 여러 전문가가 참여할 가능성이 높습니다.
간단히 말해서, MoE는 “전문가”라고 불리는 여러 전문 하위 네트워크로 모델을 구성하는 기술입니다. 각 입력에 대해 소수의 관련 전문가만 활성화되므로 더 빠르고 계산적으로 효율적인 모델이 생성됩니다.
즉, 이를 통해 MoE 모델은 매우 많은 수의 매개변수를 가질 수 있으며 매개변수의 100%가 각 입력에 대해 활성화되는 경우보다 훨씬 낮은 추론 비용을 유지할 수 있습니다.
MoE 접근 방식을 취하는 모델에 대한 또 다른 사항은 다음과 같습니다. 일반적으로 최대 수의 활성 전문가와 각 입력에 대한 최대 수의 활성 매개변수가 있으며 이는 다음과 같습니다.
총 1조 2천억 개의 매개변수가 있는 모델은 32명의 전문가를 사용할 수 있으며 토큰당 활성 전문가는 2~4명뿐입니다. 즉, 약 750억~1,500억 개의 매개변수가 실제로 주어진 시간에 계산을 수행하여 훨씬 작은 모델을 실행하는 것과 비슷한 계산 비용을 유지하면서 대규모 모델의 용량을 제공한다는 의미입니다.
다음은 MoE의 작동 방식을 자세히 설명하는 IBM의 훌륭한 비디오입니다.
분명히 말하면, Apple이 발표된 파트너십에 대한 거래를 성사시킬 경우 Google이 Apple에 제공할 수 있는 모델 아키텍처에 관한 보고서는 발표되지 않았습니다. 하지만 1조 2천억 개의 매개변수가 있으면 매우 현재 이용 가능한 대안을 고려할 때 MoE 접근 방식이 효과적으로 작동해야 할 가능성이 높습니다.
그 크기가 Gemini 기반 Siri가 내년에 출시될 모델과 경쟁력을 유지하기에 충분한지 여부는 또 다른 이야기입니다.
Amazon의 액세서리 거래
FTC: 우리는 자동 수익 창출 제휴 링크를 사용합니다. 더.
