메타, 차세대 AI 추론 가속기 MTIA 출시
메타는 페이스북과 인스타그램의 추천 모델 개선을 위해 개발된 최신 AI 추론 가속기인 메타 훈련 및 추론 가속기(MTIA)를 공개했습니다. 새로운 MTIA 칩은 TSMC의 5nm 공정을 사용하여 제작되었으며, 이전 모델보다 3.5배 향상된 성능을 제공합니다. BF16에서 177 TFLOPS, INT8에서 354 TOPS를 지원합니다. 이 칩은 FP32 정확도를 위해 하드웨어 기반 텐서 정량화를 통합하고 있으며, 최적화된 PyTorch 지원으로 빠른 작업 시작과 교체를 가능하게 합니다. 또한, 이 칩은 1.35 GHz에서 작동하며 90와트 TDP를 가지고 있고, 128GB LPDDR5 메모리를 포함하며, RISC-V 코어로 구동됩니다. 메타는 Hot Chips 심포지엄에서 이 칩의 효율성 향상과 엔비디아 GPU에 대한 의존도를 줄일 수 있는 가능성을 강조했지만, 향후 메모리 확장 옵션에 대해서는 언급하지 않았습니다.
주요 내용
- 메타의 차세대 MTIA 칩은 GEMM TOP을 3.5배 향상시켜 BF16에서 177 TFLOPS를 제공합니다.
- TSMC의 5nm 공정을 기반으로 구축된 이 칩은 INT8에서 354 TOPS와 FP16에서 177 TOPS를 지원합니다.
- 메타는 이전 세대에 비해 TCO당 성능 및 와트당 성능 향상을 목표로 하고 있습니다.
- MTIA 칩은 RISC-V 코어와 듀얼 CPU를 특징으로 하며, 1.35 GHz에서 90와트 TDP로 작동합니다.
- 메타는 현재는 배포되지 않았지만 PCIe 스위치를 통한 메모리 확장 가능성을 암시하고 있습니다.
분석
메타의 MTIA 칩 출시는 AI 가속기 시장에 disruption을 줄 수 있으며, 엔비디아에 대한 의존도를 감소시킬 수 있습니다. 단기적으로 TSMC와 RISC-V는 수요 증가로 혜택을 볼 것으로 보입니다. 장기적으로 메타의 비용 효율성과 성능 향상은 경쟁사들이 혁신하도록 유도할 수 있습니다. 엔비디아의 투자자들은 변동성을 겪을 수 있지만, 메타의 주가는 상승할 수 있습니다. 이러한 움직임은 메타의 AI에 대한 의지를 강조하며, 하드웨어와 소프트웨어 최적화에서 더 넓은 산업의 변화를 촉진할 수 있습니다.
알림
- **MTIA(메타 훈련 및 추론 가속기)**:
- **설명**: MTIA는 페이스북과 인스타그램과 같은 플랫폼의 추천 모델을 향상시키기 위해 특별히 설계된 메타의 맞춤형 AI 추론 가속기 칩입니다. TSMC의 첨단 5nm 공정 기술을 기반으로 제작되었으며, 이전 모델보다 상당한 성능 개선을 제공합니다. 이 칩은 행렬 곱셈(GEMM)과 같은 작업을 최적화하며, 다양한 정밀도 수준(BF16, INT8, FP16)을 지원하여 AI 작업에 매우 효율적입니다.
- **BF16(브레인 부동 소수점 16비트)**:
- **설명**: BF16은 숫자를 나타내기 위해 16비트를 사용하는 부동 소수점 형식으로, FP16(반정밀도 부동 소수점)과 유사합니다. 그러나 BF16은 FP16보다 더 큰 지수 범위를 가지고 있어, 정밀도를 유지해야 하는 딥 러닝 작업에 더 적합합니다. MTIA 칩은 BF16 정밀도에서 177 TFLOPS(테라 부동 소수점 연산 초당)를 달성하여 AI 추론 작업에서 높은 컴퓨팅 효율성을 나타냅니다.
- **RISC-V 코어**:
- **설명**: RISC-V는 기존의 축소 명령 세트 컴퓨터(RISC) 원칙을 기반으로 한 개방형 표준 명령어 집합 아키텍처(ISA)입니다. ARM이나 x86과 같은 독점 아키텍처와는 달리 RISC-V는 오픈 소스이기 때문에 칩 디자인에서 더 큰 유연성과 맞춤화를 허용합니다. MTIA 칩은 RISC-V 코어를 통합하여 칩 내 특정 작업을 최적화하여 전체 효율성과 성능에 기여합니다.